智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 训练的时代结束了
过去三年,AI产业的核心叙事是"训练"——谁的参数大、谁的卡多、谁的集群猛。英伟达市值飙到3万亿美元,靠的就是这场军备竞赛。
但2026年,风向变了。
中国工程院院士邬贺铨在WAIC 2026上给出判断:全球推理算力将占AI算力总负载的70%至80%。IDC预计到2028年,推理工作负载占比将达到73%。
一位行业资深人士的表述更直白:"2026年AI推理计算需求已达到训练需求的4至5倍。"
这意味着什么?
意味着买GPU不再是为了"教AI学东西",而是为了"让AI干活"。训练是一次性的,推理是持续的。训练结束,卡就闲了;推理不停,卡就永远在转。
而推理的计量单位,就是Token。
国家数据局的数据显示,截至2026年3月,中国日均Token调用量已超过140万亿,相比2024年初的1000亿增长了1000多倍。
王东在WAIC 2026上给出了更激进的预测:2026年中国MaaS Token调用量将达40000万亿次。
高盛的预测则给出了完整的增长曲线:
从350亿到8790亿,四年25倍。
这就是为什么资本在亏钱也要冲——他们赌的不是今天的利润,而是明天的基础设施。
当Token成为AI时代的"度电",Token工厂就是新时代的"发电厂"。
王东在WAIC 2026上做了一个重要判断:推理市场没有"万能芯片"。
原因很简单——推理场景高度碎片化。一个对话机器人和一个代码生成工具,对算力、显存、带宽的需求完全不同。不存在任何一家公司能够垄断所有细分应用场景。
这直接打破了英伟达在训练时代的垄断逻辑。
清微智能CTO欧阳鹏提出,AI芯片将走向多元化,过去由通用GPU主导的格局会发生变化,非通用GPU芯片将获得更大市场空间。
在这个逻辑下,国产GPU厂商找到了新机会。摩尔线程在WAIC 2026上展示了PD异构分离方案——将高算力需求的Prefill计算池与高带宽的Decode生成池分离部署,在基于Kimi K2.5模型的推理测试中,混合部署方案相比纯国际主流GPU方案,平均TGS(Tokens/GPU/S)提升1.87倍,首字延迟降低56.9%。
这意味着:同样的卡,经过深度优化后,Token产出量可以提升2-3倍。
这是目前竞争最激烈的层。
四家公司的命运截然不同:
Open Router的困境说明了一个残酷的现实:在北美,算力集中在英伟达,大模型由少数闭源巨头垄断,中间商长期独立生存很难。
王东预判,随着推理市场碎片化,将涌现大量第三方推理服务提供商(ISP),为MaaS服务商或终端客户提供更具性价比、更灵活的定制化推理服务。
这一层目前还处于萌芽期,但未来可能成为最大的市场。
大模型推理的核心矛盾,不是算力不够,而是显存不够。
以H20运行32B参数的DeepSeek-R1为例:模型权重占用64GB显存,剔除运行开销后,仅剩余22GB空间留给KVCache,折算仅能容纳88K左右Token缓存。短请求场景尚可支撑,高并发+超长上下文落地时,显存迅速打满,集群吞吐量断崖下滑。
这就是行业普遍遇到的"AI推理内存墙"。
XSKY的测试数据显示,KVCache卸载到SSD后,可以在不增加GPU的情况下将并发能力提升3-5倍。但这只是权宜之计——根本解决方案是"以存换算"。
趋境科技提出的"国产Prefill-Decode异构协同"方案,是目前最具代表性的技术路线。
原理很简单:把推理过程拆成两个阶段——
传统做法是一个GPU同时干两件事,结果两边都做不好。PD分离的做法是——用高算力芯片跑Prefill,用高带宽芯片跑Decode,各司其职。
摩尔线程的实测数据:在Kimi K2.5模型上,混合部署方案相比纯国际主流GPU方案,平均TGS提升1.87倍,首字延迟降低56.9%。
更前沿的突破来自KVCache池化。
曦望芯片完成了月之暗面Mooncake的深度适配——Mooncake Store将分散在各实例的显存、主机内存乃至SSD汇聚成统一的KVCache缓存池:
在Agent多轮对话、长上下文推理成为常态的今天,这种池化能力直接决定了推理服务能不能在有限硬件下扛住更高的并发、更长的上下文、更复杂的交互链路。
池化的本质,是把每一份算力都用在刀刃上。
同样是Token中间商,中美企业走向了完全不同的命运。
第一,算力生态不同。
北美AI基础设施高度标准化,Open Router不需要关注底层硬件怎么跑,它更像是一个轻资产的"API路由与清算管道"。这种模式技术门槛较低,容易被AWS、Google或OpenAI的自建功能降维打击。
国内算力生态则呈现出异构分散的格局——英伟达、华为、壁仞、沐曦、寒武纪等多家芯片并存,同一个开源模型在不同芯片上的性能和代码并不兼容。中国的Token工厂需要做跨芯片适配、推理引擎优化、异构算力调度等工作,存在真正的工程能力壁垒。
第二,竞争生态不同。
美国市场里,算力集中在英伟达,大模型由OpenAI、Anthropic、Google等少数闭源巨头高度垄断。中间商中长期独立生存很难——Open Router就是前车之鉴。
中国市场则不同。大模型格局尚未完全收敛,国产芯片百花齐放,中间商有更大的生存空间。
第三,商业模式不同。
硅基流动走的是"API聚合"模式——接入大量模型,面向开发者和企业提供标准化API。但公有云业务陷入价格战,"卖得越多,亏得越狠"。
趋境科技走的是"共建模式"——与拥有算力资源的客户(如地方智算中心)联合建设AI Token工厂。这精准承接了各地智算中心从"卖算力"向"卖高品质AI Token"转型的需求。
早期看项目更看重增速与规模,现在则更关注单位Token成本、客户留存率、毛利改善曲线等经营质量指标。
无论哪家大模型最终胜出,推理都需要算力。无论哪种芯片最终胜出,推理都需要优化。
这意味着:
Token工厂赛道目前处于"百团大战"阶段,但终局必然走向集中。
关键判断标准有三条:
王东预判的"第三方推理服务提供商"可能是最大的机会。
推理场景碎片化意味着,没有一家公司能服务所有场景。垂直领域的推理优化服务——比如专门服务医疗AI、金融AI、工业AI的推理服务商——可能比通用Token工厂更容易盈利。
Token工厂的故事,本质上是一个关于"基础设施"的故事。
每一次技术革命都会催生新的基础设施:电力革命催生了发电厂,互联网革命催生了数据中心,AI革命催生了Token工厂。
但基础设施生意有一个铁律:先亏后赚,赢者通吃。
发电厂亏了二十年才开始赚钱,数据中心亏了十五年。Token工厂的亏损周期可能更短——因为需求增长太快了。从1000亿到140万亿,只用了一年半。
但活到最后的前提是,你得有真正的技术壁垒。
硅基流动有规模但没有壁垒,Open Router有用户但没有壁垒。趋境科技有技术但还在追赶规模。无问芯穹有融资但还在寻找定位。
Token工厂的终局不是"谁的模型多",而是"谁的单位Token成本低"。在这个赛道里,最危险的事情不是亏钱——而是亏了钱还建立不起壁垒。
2026年7月,WAIC展馆里,"Token工厂"几乎随处可见。摩尔线程、无问芯穹、是石科技,全都在讲Token的生产、优化和调度。
很多公司不再只讲"我有多少卡、接了多少模型",而是开始讲"我能不能用同样算力,生产出更多有效Token"。
这是一个好信号。因为当所有人都在问"效率"而不是"规模"的时候,行业就真的成熟了。
只是,成熟的过程会很疼。
