智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 2026年1月,英伟达CEO黄仁勋在达沃斯世界经济论坛上,第一次把AI基础设施描述为一块”五层蛋糕”:自下而上,分别是 能源、芯片、基础设施、模型和应用 。此后他在CES 2026和GTC 2026大会上反复使用这个框架。
在《Token经济》这本书中,作者把这个系统形容为一条“实时运行的认知生产线”。用户输入、上下文、工具说明和企业知识库,像生产的原材料;电力、芯片和推理时间,像能源;模型架构、缓存机制、路由策略和工作流编排,则像工艺。不同于一件可以造好后堆进仓库的工业品,Token往往在调用瞬间被生产、交付并消费。
“Token的生产成本,是造出一个Token所消耗的资源;Token的市场价格,是厂商对外报出的调用单价;Token的任务成本,是完成一次完整任务总共花掉的钱。”
只有把这三层账分开,才能理解下面这块蛋糕。
GPU运转需要电力,冷却系统需要电力,网络传输需要电力,数据中心是不折不扣的用电大户。按美国工业电价每千瓦时0.06~0.08美元计算,一座500兆瓦的数据中心,一年的电费账单超过3亿美元。
但书中提醒,要区分”运营成本”和”单位Token完全成本”:电力在数据中心日常运营中很扎眼,可一旦把GPU、HBM、网络和机房的资本折旧都计入,能源层就不是最大项了。SemiAnalysis的推理TCO(总拥有成本)模型显示,机房租赁和电力合计通常不到总拥有成本的20%。因此在大规模商用推理口径下,能源约占Token生产总成本的10%~20%。
GPU/AI加速器、HBM(高带宽内存)、芯片间互联和CPU,构成了Token成本的主体。从公开采购口径看,一块英伟达B200的价格为3万~4万美元,其中通常已包含封装内的HBM成本;而从物料清单(BOM)口径看,HBM与先进封装合计约占高端芯片制造成本的三分之二。
为什么显存和互联决定供给?书中解释了一个关键技术事实:模型参数必须驻留在HBM中,才能实现高效推理——HBM的容量和带宽,直接决定了推理的速度与并发上限。而全球HBM产能被三家寡头垄断:SK海力士约占57%,三星占22%,美光占21%。AI需求爆发叠加寡头格局,让超大规模云厂商资本开支中内存的占比,从2023—2024年的约8%飙升至2026年的约30%,几乎全部由HBM驱动。在大规模商用推理口径下,整个芯片层约占Token生产总成本的40%到55%,高端模型、长上下文和高显存场景还会更高。
有了芯片,离能产出Token还差得很远。这一层包括机房建设、供配电系统、液冷/散热、机柜、光模块、线缆与InfiniBand交换网络,以及大规模集群的调度和运维系统——它的任务,是把成千上万张芯片组织成一座协同运转的”AI工厂”。
基础设施层约占Token生产总成本的15%~20%,但这个比例的弹性很大:GPU利用率、电价、折旧年限、数据中心是自建还是租赁,都会让它大幅波动。同一批芯片,利用率60%和80%的企业,摊到每个Token上的成本完全不同。
这一层包括训练成本的摊销、推理框架优化、模型服务编排和监控。训练本身耗资巨大——GPT-4的纯计算口径(硬件折旧+能源)训练成本约4000万美元,而奥尔特曼的公开口径是”超过1亿美元”,GPT-5级别已进入数亿到十亿美元级;而且这还没算”试错系数”:前沿模型很少一次训练成功,失败的轮次会让实际投入成倍增加。
但模型层也是工程魔法最密集的一层。以MoE(混合专家)架构为例,DeepSeek V4总参数量达1.6万亿,每次推理却只激活约490亿参数(约3%)——书中打了个比方:这相当于一家拥有16000名员工的巨型咨询公司,每接一个项目只派出约500人的精锐小组。蒸馏技术则让小模型复现大模型能力,推理成本约为大模型的1%。这类算法优化的共同特点是:不需要更换任何硬件,只需更新软件和框架,成本就能再下一个台阶。
最上面一层,是界面、集成、合规和内容安全——模型能力要变成用户可以购买、企业敢于采购的服务,这一层必不可少。它约占Token生产总成本的5%~10%。
需要注意的是,这些比例都不是任意公司的标准财务报表,而是对大规模商用推理场景的一种拆解视角。自建还是租用、前沿模型还是经济模型、训练还是推理、任务长还是短,都会改变每一层的权重。但有一个排序相对稳定:硬件相关的三层,通常构成成本主体,大致占七成上下甚至更高。
了解了五层结构,就有助于解除两个流传很广的误会。
第一个误会: 把Token看成”电力的转售”。 既然一次AI对话的电费可能只有几厘钱,那Token凭什么收费?因为单Token的边际电耗,只是完全成本里很小的一块。一枚Token的完全成本,要同时摊入芯片折旧、显存带宽的机会成本、数据中心的利用率,以及服务质量的溢价。同样是1度电,喂给不同的芯片、放在不同利用率的机房里,造出的Token数量天差地别。
第二个误会: 只看单Token成本,忽略同样数量的Token,背后的成本并不相同。 书中指出,Token成本因模型代际、任务类型和部署形态而异:前沿旗舰模型与经济档模型的推理成本可以相差数十倍;长上下文任务比短问答更吃显存;批处理任务可以让集群利用率从60%提升到70%~80%,摊薄成本——2026年谷歌推出的分层推理定价,正是按”愿意等多久、要多稳”把同一模型分成优先、标准、灵活、批处理四档,批处理档直接半价。
除了这两个误会,还有一个容易被忽略的时间差:硬件确实在快速进步——英伟达推理硬件每代性能提升2~3倍、功耗增加不到50%,折合每Token硬件成本每代下降40%~60%;但从架构发布到大规模交付到客户手中,通常需要12~18个月。B200于2024年3月发布,2025年底才大规模交付。所以即便”造Token”的理论成本一直在降,特定时间、特定地点可用的便宜算力,依然是稀缺品。
换句话说,电价会影响Token,却不能单独解释Token;就像钢价会影响一辆车,却不能单独解释一辆车为什么卖得贵。
理解五层成本之后,就不难看到Token经济中最矛盾的一面:算法侧的价格在快速下降,物理侧的供给却依然紧张。书中把它概括为“双时钟”。
“算法、软件是快时钟;芯片、数据中心、电力是慢时钟。”
快时钟有多快?过去3年,同等能力水平的推理成本下降了99.5%——斯坦福《2026年AI指数报告》的估算是3年降至原来的1/250。MoE、注意力优化、蒸馏、推测性解码,这些技术以天和周为单位迭代,不需要换任何硬件就能让成本再降一档。
慢时钟有多慢?书中列出了物理世界画出的四重约束:
两套时钟同场运转,就产生了Token市场独有的景观:价格可以因为算法突破而快速下降,物理供给却依然紧张;利用率提升能摊薄成本,可一旦容量到顶,新增GPU、机房和电力合同又会让成本出现阶梯式跳升。看懂这个”双时钟”,就看懂了AI价格战为什么能打到骨折、算力紧张为什么始终没有缓解、全球科技巨头为什么突然都在以基础设施公司的方式重塑自己的资产负债表。而其中的任何一层失速,最终都会传导到那句看起来极轻的AI回答上。
回到开头的问题:造一个Token,钱到底花在了哪里?
答案恐怕要让想要“标准答案”的人失望了:Token的市场价格会变,模型会换代,成本结构也会因任务和部署形态而变化——你永远不会得到一枚Token的”死价格”。但有一样东西是确定的:每一枚Token,都需要真实的能源、芯片和基础设施去生产。这才是认识AI经济的起点。
过去我们习惯了互联网的叙事:代码写一次,服务无限人,边际成本趋近于零。而Token经济把物理世界重新拽回了故事的中心——当智力服务成为可计量、可调用的商品,未来竞争的就不再只是更会写代码的公司,而是谁能更高效、更可持续地把能源、芯片、模型和人类需求组织起来的公司。对模型公司来说,竞争是把每一度电、每一张卡转化为更多高价值Token;对云厂商来说,竞争是把芯片、网络和机房跑得更满;对应用公司来说,竞争则是证明这些Token确实换来了用户愿意付费的结果。
当智力服务开始被计量、被调用、被定价,AI真正进入的就不只是聊天框,而是一套新的工业秩序。
这,或许就是黄仁勋所说的“五层蛋糕”理论的真正含金量。
