UC Berkeley/NVIDIA/Stanford联合发布T-Rex触觉机器人框架

问题：为什么空有视觉的模型会变成"大力怪"？

在过去很长一段时间里，具身智能的演进逻辑是"大力出奇迹"：把视觉语言模型做大，再拼上动作输出，做成视觉-语言-动作（VLA）模型。但李飞飞团队在实验中发现了一个极其反直觉的行业现象。

若将预训练的VLA模型简单地基于触觉信号（如π0.5+触觉）进行条件化处理，会导致性能下降。这凸显了有效触觉整合的重要性，意味着，触觉感知绝对不是多加一个数据输入通道那么简单。视觉是宏观的、低频的，看一眼做个规划就好；而触觉是微观的、高频的，指尖需要感受力的实时细微变化。把两种不同次元的数据强行缝合，只会让机器人的大脑彻底宕机。为了打破这个僵局，T-Rex抛弃了传统的缝合思路，在底层架构和数据集上彻底动了刀子。

100小时触觉百科全书：放弃死记硬背，只教"动作原语"

在具身智能领域，采集数据一直是一项苦差事。如果你想让机器人学会翻书或挤牙膏，传统的做法是让人类操作员把每个任务重复录制几百上千遍。这样做的代价是致命的，不仅成本高昂，而且机器人学到的技能极度死板，一旦换个没见过的杯子，机器人立刻变回"人工智障"。

为了解决这个瓶颈，T-Rex团队提出了一个优雅且高效的Mid-training（中期训练）数据配方。

首先是拆解22类"动作原语"。T-Rex没有让机器人去死磕某一个具体任务，而是把人类灵巧操作的本质，拆解成了轻触、旋转、对准插入、多指捏挤、侧向滑动等最基础的元动作。无论现实世界中的任务如何千变万化，它们都是由这些底层的接触模式组合而成的。通过让两只高精度机械手在200多种日常物体上不断摸索，团队录制了整整100小时的高密度触觉同步数据。

其次是自研的"时空触觉VQ-VAE"编码器：把杂乱的力学信号做成"触觉表情包"。

很多人以为给机器人加触觉很简单，多装几个传感器不就行了？事实并非如此。T-Rex机械手的指尖密密麻麻全是阵列传感器，每一个微小的"阵列格（Taxel）"都在以每秒20次（20Hz）甚至更高的频率输入输出成千上万个数据："左边受力0.1N、右边形变了0.5mm"……这种高频、高维度的原始数据流不仅是"天文数字"，而且充斥着大量的物理噪音，如果直接喂给AI，容易把计算资源撑爆。

为了解决这个问题，T-Rex团队自研了一套编码器。它就像是一个"触觉表情包制作器"。就像我们聊天时不用描述面部肌肉的微动，只需要发一个"😂"对方就能明白我们的情绪一样；这个编码器能把指尖密密麻麻的力学数据，"提炼并翻译"成一本触觉字典里的几百个核心代号（Token）。比如代号042代表"指尖正在向左打滑"，代号115代表"物体表面太软，正在塌陷"。更厉害的是，它是"时空"联合编码的——不仅能看懂这一捏有多重（空间分布），还能看懂过去几秒力是怎么变大的（时间趋势）。传统的传感器只知道告诉你"现在正承受5N的力"。但你闭上眼睛捏一个气球，你怎么知道它快爆了？不是因为现在的力大，而是因为你感受到了力在时间上的飙升，以及气球表面在空间上的剧烈形变。它把时间（过去几秒力的连续变化趋势）和空间（整个指尖皮肤被压出了什么形状）打包在一起压缩。这就好比它不仅拍下了"手捏住东西"的静态照片，还拍下了一段包含前后因果的"触觉小视频"，让机器人具备了"预判"能力。

最后是颠覆性的"Mid-training"训练范式。以往大家总觉得要把触觉搞定，必须在最初的预训练阶段就把触觉数据塞进去，但互联网上根本没有带触觉的视频。T-Rex用实验证明，机器人完全可以先通过海量的人类主观视角视频进行纯视觉的大范围预训练，学到宏观大局观；然后在中期训练阶段，通过这100小时的触觉原语数据集注入手感。这种解耦策略直接绕过了触觉数据规模不足的死穴。

三专家异步架构：大模型时代，如何给机器人"降维超频"？

有了数据和编码器，如何让机器人实时响应？这是T-Rex最具创新性的设计，它把机器人的控制系统拆分成了三个各司其职的异步专家。

该模型采用基于三种专家网络的变换器专家混合（MoT，Mixture of Transformers）主干网络：潜藏专家负责未来视觉预测，动作专家负责低频动作去噪，触觉专家则负责高频触觉细节优化。在推理过程中，触觉专家会复用缓存的视觉-语言上下文信息，利用时空触觉特征异步优化中间动作，从而实现快速的触觉响应闭环控制。

这种设计最精妙的地方在于，当手指碰触到物体、力道发生变化时，系统不需要重新去跑一遍沉重的视觉大模型，而是由触觉专家在局部快速微调。天下武功，唯快不破，这让机器人的响应效率迎来了质的飞跃。

战绩狂飙：碾压最强前作，成功率暴涨

在12项极度依赖接触、普通机器人一碰就碎的地狱级操作任务中，T-Rex交出了一份惊艳的答卷。其平均成功率直接飙升至65%，而此前行业最强的基线模型EgoScale在同等条件下仅有35%。

在具体任务中，高难度翻书的成功率高达96%；分离紧叠在一起、极易卡死的杯子成功率达到78%；转移生鸡蛋的成功率达到75%；而丝滑抽取卡片的成功率也来到了70%。

在面对薄如纸张、脆如生鸡蛋、或是容易形成物理真空吸附的杯子时，T-Rex展现出了惊人的温柔。

这套配方的收益还能从训练流程消融里再看一遍：

• 完全不做大规模预训练也不做触觉中期训练时，6个代表任务平均成功率只有18%;
• 只做触觉中期训练是34%;
• 只做大规模预训练是45%;
• 两者都做则达到65%。

这组数字很有说服力，用无可辩驳的事实，拆清了这套"三阶段路线"里每一段的不可替代性：

纯视觉的预训练，负责让机器人拥有"看懂世界的宏观眼睛"；而触觉的中期训练，则负责把这些宏观的眼界，真正翻译并落实到指尖每一次微观、精准的接触控制上。两者结合，才是一个真正完整的、有血有肉的具身智能。

具身智能的下一步：视觉负责"想"，触觉负责"调"

当然，强如T-Rex，现阶段依然面临着诸多硬核挑战。团队对失败案例进行分析，并在论文中坦言，目前在精确视觉对准、多指协同、长时序复杂操作，以及物理触觉硬件的传感器漂移上，依然留有待解的空白。

但T-Rex的出现，为整个具身智能行业指出了一条极为明确的演进范式：视觉负责"想"，触觉负责"调"。

只靠无限堆大视觉语言模型，永远无法让机器人完美地洗好一个盘子。通往通用人工智能（AGI）的物理化身之路，不仅需要一颗能看懂世界、会深度思考的超级大脑，更需要一双能温柔触摸、实时感知物质世界的真实双手。李飞飞团队的这一步，或许正让那个真正能够走进千家万户、端茶倒水的灵巧机器人，加速向我们走来。