小米万亿参数模型1000 tokens/s突破 仅需8张GPU

每秒千token推理：10秒做贪吃蛇、1分钟复刻 macOS

　　万亿参数尺度上突破1000 tps意味着什么？小米公告中称，这有望带来以下AI应用模式的底层改变：

　　速度转化为智能：在相同等待时间内，模型可并行运行数十条推理路径（Best-of-N/Tree Search），后台自动验证纠错，用速度换取思考深度和推理质量。

　　解放Coding Agent生产力：极速推理下，开发者无需长时间等待代码生成，大幅提升编码效率。

　　进入实时决策闭环：毫秒级的“思考-响应”循环使万亿模型可以接入高频量化交易信号生成、瞬时反欺诈风控拦截、智能竞价及实时交互对话等对时间极度敏感的场景。

　　医疗场景的价值：在手术辅助、医疗影像分析等场景中，速度的提升可帮助AI更快完成病灶分析与风险预判，为医生争取更多处置时间。

　　如下图所示，仅需10秒，Xiaomi MiMo-V2.5-Pro-UltraSpeed可生成一个贪吃蛇小游戏。

　　仅需1分钟，Xiaomi MiMo-V2.5-Pro-UltraSpeed就能复刻一个macOS系统。

不走专用芯片路线，模型+系统双向优化，通用8卡GPU跑出极速推理

　　与业界Cerebras晶圆级集成或Groq纯片上SRAM定制芯片等专用硬件路线不同，小米和双方TileRT系统团队选择在通用GPU上实现这一速度。

　　在模型侧，他们针对通用硬件的带宽瓶颈，进行了FP4量化，大幅缩减模型体积并减少访存开销；同时引入基于块级Masked并行预测的高效推测解码DFlash，大幅提升单次验证的Token接受长度。

　　在系统侧，TileRT适配算法的动态特性，为全新的量化和推测解码流程量身定制专项优化的编译引擎与计算核。

FP4量化：大幅瘦身不丢精度

　　在万亿参数尺度上，传统8比特甚至16比特推理会带来巨大的显存占用和内存带宽压力。团队采用了业界较为通用的MXFP4量化方案。

　　针对MiMo-V2.5-Pro的MoE（Mixture of Experts）架构特性，他们只对MoE Expert进行参数FP4量化，其他模块保留原有精度。通过FP4量化感知训练（QAT），在大幅缩减模型体积、榨干硬件带宽的同时，模型整体能力与原模型基本持平。

DFlash投机解码：单次验证一口气确认多段文本

　　传统投机解码依赖小型Draft模型猜测后续tokens，再由大模型验证，瓶颈在于Draft模型质量与计算开销难以兼得。团队采用了DFlash块级Masked并行预测方法：Draft模型在一次前向中同时填出一整块Mask位置，解除Draft自回归的串行约束。

　　针对MiMo-V2.5-Pro的万亿MoE与长上下文场景，团队进行了定制优化：

• Draft模型采用滑动窗口注意力（SWA），与MiMo-V2系列自身设计对齐，单次预测算力从随上下文线性增长变为常数级。
• 训练时Mask信号采样下沉到GPU本地分片，单步产出数万级独立训练信号，对齐MiMo-V2系列模型长上下文能力的同时避免跨设备通信开销。

　　效果上，其并行预测推测解码在多个Agent和Coding高价值场景实现了显著的接受长度提升，意味着大模型每次验证都能“一口气”确认更多内容；此外，他们将Mask 块大小限制为8以降低验证开销、提高并发水平，使得高接受长度直接转换为高推理吞吐。

　　团队在Coding场景中平均接受长度达到6.30，部分样本最高7.14，每轮验证8个Draft token中可接受6-7个。同时，在语义更发散、不确定性更高的通用对话场景中，当前的接受率仍不高，团队正在持续优化。

TileRT超低延迟推理系统：打通算子壁垒，软硬件协同破千Token吞吐

　　在1000 tokens/s的超高频运行状态下，传统推理系统的算子边界成为瓶颈。为了消灭算子边界带来的执行间隙，TileRT引入了新的执行模型：

1. 常驻内核引擎：摒弃逐算子启动模式，让计算流水线常驻在GPU内部持续流转，实现数据搬运与计算的极致重叠。
2. 异构流水线协作：在Tile级别将通信、搬运和张量计算进行更精细的物理拆解，不同Warp（线程束）精密协作。
3. 微秒级软硬件收敛：TileRT与MiMo团队深度协同，针对FP4混合量化与DFlash投机解码量身定制编译引擎与计算核，让执行压力最终在硬件边界内平稳闭环。

　　官方表示，1000 tokens/s的诞生，是高水平系统基础设施与极致算法模型向着彼此深度收敛、共同演化的结果。

结语：10倍提速，万亿模型的“实时梦”更近了

　　小米MiMo与TileRT在通用GPU上实现1T模型千tps级输出，验证了软硬件协同设计路径的可行性。相比依赖专用芯片的方案，这一思路有望降低实时AI推理的硬件门槛，使更多场景能以可接受的成本获得近实时响应能力。

　　不过，当前高接受率仍主要集中在Coding等结构化任务，通用对话场景尚存优化空间。同时，推理资源的紧张与申请制开放也反映出大规模商用仍需时间。1000 tokens/s的技术突破值得关注，同时距离普惠应用还有一段路要走。