Token必须死？探讨大语言模型结构性天花板

“我语言的局限，即意味着我世界的局限。”（Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt.）

哲学家维特根斯坦在1921年写下这句话时，他谈论的是人类认知的边界。一百年后，这句话精确地描述了大语言模型面临的结构性困境，如果AI的"语言"就是离散token序列，那么它的"世界"永远被困在token能表达的范围内。

大语言模型能否通向AGI？

这也引出了一个老生常谈的问题：大语言模型范式能走到AGI（通用人工智能）吗？

2024年12月，OpenAI 前首席科学家Ilya Sutskever在NeurIPS发表主题演讲，他说"预训练即将终结"。2026年3月，图灵奖得主Yann LeCun离开Meta创办AMI Labs，直接宣判"大语言模型路线错了"。

两位深度学习殿堂级的大师，一位选择颠覆自己亲手开启的预训练时代，另一位选择继续践行自己坚守多年的世界模型路线，去赌"LLM的下一个时代"。

当然绝对不是当前的模型不好用或没有商业价值，大模型的用户数量及渗透率都在持续增长，产业价值会越来越大。但是从技术路径来看，他们要表达的是：这条路有一个结构性的天花板，这个天花板恰好卡在通往AGI（通用人工智能）的路上。

新范式的信号

2026年5月，MIT何恺明团队和字节跳动Seed实验室几乎同时发布论文，给出了一个更明确的信号：语言生成的核心建模过程不必始终发生在离散token空间中，也可以转移到连续embedding或latent空间里完成，最后再映射回文本。