首页
产品服务
模型广场
Token工厂
算力市场算力商情行业资讯解决方案有偿资讯商城
注册

四台Mac Studio跑起万亿参数模型Kimi K2.6,本地AI部署新突破

发布日期:2026-06-21 来源:网易作者:网易浏览:11

万亿参数大模型本地化部署新突破

  在WWDC 2026现场,LM Studio联合苹果完成了一次足够硬核的操作:把月之暗面的万亿参数大模型Kimi K2.6,塞进了四台Mac Studio组成的集群里。不需要数据中心,不需要传统GPU阵列,就在消费级硬件上跑起来了。

  Kimi K2.6的参数规模达到1万亿,采用MoE架构,激活参数320亿。这个量级的模型通常需要专业算力集群才能部署,而这次演示的核心差异在于,LM Studio利用苹果设备间的内存共享和互联技术,让四台Mac Studio的总统一内存达到约1.5TB,刚好装下这个“庞然大物”的推理需求。

远程访问与端到端加密交互

  更有意思的是远程访问方式。通过LM Link功能,用户可以在MacBook Neo或iPhone上,与集群运行的模型直接交互,数据和通信全部本地化处理。换句话说,模型托管在工作室一角的那堆Mac Studio上,你拿着手机就能调用,链路全程端到端加密。LM Link在2026年6月初已更新至LM Studio Mac应用和Locally AI iOS应用。

性能与功耗优势初显

  性能层面也有可参考的数据。此前开发者在相同配置的四台Mac Studio集群下测试,Kimi K2.6在特定模式可达约28 tokens/s的生成速度,功耗相比传统GPU集群更低。这对本地部署场景是个实际信号——不一定追平云端推理速度,但功耗和硬件成本的优势开始显现。

多终端协同与生态底座

  Kimi K2.6本身支持长上下文、多模态输入和智能体任务处理。这次演示展示的不只是“能跑起来”,还包括从轻薄笔记本到手机的多终端调用能力。苹果生态内Thunderbolt 5 RDMA支持等多设备内存共享能力,成为这整套方案的技术底座。

本地化部署的新路径

  消费级硬件部署大型开源模型的路线,这次有了一个具体案例。接下来要看的是,类似的本地化方案能否覆盖更多模型,以及实际应用场景何时真正落地。

本文转载自网易, 作者:网易, 原文标题:《 四台Mac Studio跑起万亿参数模型Kimi K2.6,本地AI部署新突破 》, 原文链接: https://c.m.163.com/news/a/KVTN1RRA05561FZL.html。 本平台仅做分享和推荐,不涉及任何商业用途。文章版权归原作者所有。如涉及作品内容、版权和其它问题,请与我们联系,我们将在第一时间删除内容!
本文相关推荐
暂无相关推荐
点击立即订阅