GitHub Copilot终于允许在本地跑模型了

微软最近放出一个对开发者相当实用的更新：本月底前，GitHub Copilot将支持本地AI模型推理，开发者可以在云端模型和设备端模型之间自动或手动切换。

过去Copilot高度依赖云端托管模型，由协调器根据性能、成本与准确性来路由请求。新机制把同样的协调逻辑扩展到了本地。自动模式下Copilot会自己判断哪类任务走云端、哪类留在设备上；也可以选择强制使用设备端模型，把所有请求按本地策略处理。这套偏好在Copilot CLI、Copilot应用与Visual Studio Code里都能配置。

本地模型方面，微软留了不少口子。既可以通过Windows ML调用自研的MAI Code 1.1 Flash，也能对接OpenAI兼容的本地端点，选用其中暴露的任意模型。这意味着本地不再只跑"微软选定的那一个"，开发者手里的开源模型有了正式的入场券。

新发布的MAI Code 1.1 Flash是个混合专家模型，总参数1370亿，活跃参数68亿，配合量化与推测解码做响应速度和内存占用的优化。在Surface Laptop Ultra上的实测显示，复杂任务的峰值内存使用率、Token利用率与处理速度都有明显提升。解码吞吐量测试中，提示长度从2K到256K Token时，吞吐量在每秒40至63个词元之间。

这套动作看起来是工程细节，背后是AI编程工具的一段路径变化。当端侧芯片足够强、本地模型足够聪明，"全部依赖云端"的必要性正在被重新评估。对企业来说，源代码不出本地这一条就够让决策天平倾斜；对独立开发者来说，离线可用与响应延迟的降低同样有吸引力。Copilot这次把选择权交回开发者手里，时机踩得不算晚。