智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 M3 被描述为 MoE 架构:总参数约 428B,每 token 激活约 23B(常说"128个专家、每次激活4个"这类实现细节在模型卡/讨论中出现),并标称 上下文窗口 1M token,输入模态覆盖文本/图像/视频。
但有两个地方别读太快:
这次技术侧的重点不是"又大了一点",而是它试图解决长上下文的成本瓶颈:MSA 在 GQA 思路上做 block 级稀疏选择(轻量 index branch 挑 top-k KV block,再只在选中块做精确注意力),并配套 CUDA 层面的工程实现。论文给出的一组代表性数字是:在 109B 量级多模态 MoE 上,1M 上下文下注意力计算量可降到约 1/28.4,并报告 prefill / decode 的墙钟加速(属于"结构+kernel协同设计"的路子)。
对开发者来说意义更直接:它让"百万上下文"从PPT变成可讨论的部署问题——但要真跑起来,仍然逃不开显存、量化、调度与稳定性的老三样。
MiniMax 自己汇总了多个公开评测口径:Artificial Analysis 的 Intelligence Index/GDPval-AA 等页面里,M3 被放在"开源模型头部"的位置;同时它也提到 Vals.AI 等榜单的国产靠前区。
这里建议你看榜时只抓一条:AA 这类是第三方独立跑的,但不同榜的 task mix 不同,排名≠全面碾压。尤其编程向分数(例如它提到的 SWE-Bench Pro 59%)多以厂商自报为主,等更多独立复现出来再下结论更稳妥。
官方与社区都承认:发布后访问/调用量上来,体验会抖;团队披露输出速度从约 30TPS→80TPS,还说会继续提 30–40%,并补了用量看板这类运维动作——这反而比"世界第一"那类形容词更可信。
至于本地/私有化:MoE 的优势是"激活小"(23B 的量级),但 428B 的总权重体量和配套 KV/量化工程,仍会把大多数人推向 服务器集群或至少多卡;社区最现实的路径通常是等/做量化版本(MXFP8 之类)、再配合 vLLM/SGLang 做可控部署,而不是把"428B"当成一个能随便塞进笔记本的词。
信息来源以 MiniMax 官方口径、Hugging Face 模型卡与较一致转载为准;若你打算商用,先把 Community License 原文读一遍再动工。
