微软宣布Copilot混合推理架构：云端与本地模型自动切换，本月底上线

微软宣布Copilot混合推理架构：云端与本地模型自动切换，本月底上线

　　太平洋时间10月7日上午10点（北京时间10月8日凌晨1点），微软在美国旧金山举办发布会，宣布GitHub Copilot将在本月底前支持本地AI模型推理，开发者可在云端模型与设备端模型之间自动或手动切换。

　　GitHub Copilot是微软推出的AI编程助手，可集成于Visual Studio Code、CLI等工具，根据代码上下文生成补全、解释或重构建议。目前依赖云端托管模型，由协调器根据性能、成本与准确性路由请求。

　　微软计划本月底扩展该机制，允许Copilot自动选择云端模型与本地AI模型，后台协调推理任务。微软为用户提供两种模式：自动编排或强制使用设备端模型。用户可在GitHub Copilot CLI、Copilot应用与Visual Studio Code中设置偏好。

　　本地模型选择支持指定提供程序、模型或端点，开发者可通过Windows ML选择MAI Code 1.1 Flash，或连接OpenAI兼容的本地端点并选用其暴露的模型。

MAI Code 1.1 Flash模型特性

　　微软推出MAI Code 1.1 Flash“混合专家”模型，总参数1370亿，活跃参数68亿，采用量化与推测解码技术优化响应速度与内存占用。该模型在Surface Laptop Ultra上实测显示，复杂任务中的峰值内存使用率、Token利用率与处理速度均显著提升。解码吞吐量测试显示，提示长度从2K到256K Token时，吞吐介于每秒40至63个词元。