一百万个Token只要0.181美元，AI公司是怎么把Token越做越便宜的？

Token开始成为一种工业产品

  大模型每生成一个Token，都要做一次庞大的概率计算。模型读取此前的上下文，让数十亿乃至数千亿参数参与运算，再从词表中计算下一枚Token出现的概率。

  单独看一次计算，它短得几乎无法察觉。乘上数亿用户、长对话、代码生成和持续运行的Agent之后，它就变成一条昼夜不停的计算流水线。

  所以，0.181美元这个数字值得注意的地方，并不在于它看上去很便宜。按照这种成本测算，一台AI机器的经济效率已经可以用“一美元能够制造多少Token”来描述。

  这与炼钢厂计算每吨钢的能耗、晶圆厂计算每片晶圆的成本颇为相似。Token也开始拥有自己的单位成本。

第一笔成本来自搬运数据

  大模型推理经常受到一个容易被忽略的物理限制：芯片需要不断从高带宽内存中读取模型参数。

  模型每生成新的Token，许多参数都要进入计算单元。如果计算核心速度很快，内存却无法及时送来数据，大量计算单元只能等待。此时增加更多算力，并不会按照相同比例增加Token产量。

  Ironwood在这里下了很大功夫。Google公布的规格显示，每颗TPU7x拥有192GB高带宽内存，带宽达到约7.38TB/s，FP8峰值计算能力达到4614 TFLOPS；一个完整Pod最多可以连接9216颗芯片。

  这些数字最终会落到一个很朴素的结果上：同样一分钟里，机器能够完成更多次模型推理。

  Token成本下降，并不只依靠芯片算得更快，还依赖参数被更快地送到需要它们的地方。

一块芯片需要同时服务更多人

  一张昂贵的AI加速卡如果一次只回答一名用户，它生产出来的每个Token都会很贵。

  推理系统因此会把不同用户的请求组合起来处理。几十个甚至更多请求同时进入芯片，模型参数只需要加载一次，矩阵计算便可以并行处理一批数据。工程上称之为batching，也就是批处理。

  批量越大，芯片通常利用得越充分，但等待时间也可能增加。一个聊天机器人如果为了节省成本，让用户等待几十秒，商业价值会迅速下降。因此SemiAnalysis在比较Ironwood、B200和B300时，专门把用户生成速度控制在约100 Token/秒附近。

  这里出现了一项AI基础设施的重要指标：每美元成本下，能够在规定延迟内交付多少Token。

  Google甚至把TPU设计成一整套计算系统。Ironwood内部的高带宽内存、芯片间互连、光交换网络和数据中心网络共同负责数据移动，使数千颗芯片能够被当作一个大型计算设备使用。Google将这种设计称为系统级协同设计。

便宜的Token会带来更多Token

  推理成本下降以后，AI公司通常不会简单地把节省下来的算力留下。

  模型开始思考更长时间。编程Agent可以连续读取代码、修改文件、运行测试，再根据结果重新修改；研究型Agent会搜索资料、比较信息、调用工具。用户最终看到的回答可能只有几百字，机器在完成任务的过程中却可能处理几十万甚至几百万Token。

  这改变了Token经济学。

  过去，一个问题对应一次模型调用；现在，一个任务内部可能隐藏着数百次调用。单个Token正在变得廉价，而一项AI任务能够消费的Token数量正在迅速扩大。

  因此，Google和英伟达争夺的也不只是某一代芯片的峰值算力。HBM容量、内存带宽、芯片互连、编译器、模型量化、批处理和调度系统，最后都会汇入同一张账单。

  这张账单的最小单位，就是Token。

  当100万个Token的基础设施成本能够被测算到0.181美元时，大模型已经进入一种很熟悉的工业阶段：工程师开始逐项削减制造过程中的每一笔消耗。下一代AI能力能够走多远，很大程度上取决于这些几乎看不见的小数点还能向左移动多少位。