港科大开源StarVLA：30K步达98.8%成功率训练效率飙升6倍

为什么说 VLA 需要一个 "PyTorch 时刻"？

回顾深度学习的发展史，会发现一个规律：任何一个领域真正爆发，都离不开一个统一的、开放的、可复现的实验平台。

而 VLA 目前正处在 ImageNet 之前的 "前夜"：模型很多、demo 很炫、论文产出很快，但没有人能告诉你，在严格控制变量的前提下，哪种设计真的更好。

举几个具体的 "灵魂拷问"：

• 不同动作头（action head）对性能影响有多大？
• 协同训练（co-training）是否真的必要？
• 主干网络用视觉语言模型（VLM）还是世界模型（World Model）更优？
• 跨任务数据混合训练会不会互相干扰？

在 StarVLA 之前，这些问题几乎没有人能给出系统性答案 —— 因为根本没有同时支持这一切的统一平台。

StarVLA 是什么？一个 "全栈式" 的 VLA 实验平台

StarVLA 的设计哲学非常克制：不发明新方法，而是把别人发明的好方法，统一搬到一个屋檐下。

整个框架由四层可插拔模块组成：

• 主干网络（Backbone）：支持 VLM（如 Qwen3-VL）、World Model（如 Cosmos-Predict2）等多种架构；
• 动作头（Action Head）：包括 OFT、Diffusion Policy、Autoregressive 等主流策略输出方式；
• 训练策略（Training Strategy）：支持单任务、多任务、协同训练等模式；
• 评估基准（Evaluation Benchmarks）：覆盖 LIBERO、SimplerEnv、RoboTwin、RoboCasa-GR1、LIBERO-Plus 等主流仿真环境。

每一层都可以自由替换、自由组合。 想做 "换动作头不换主干" 的对比？改一行配置。想验证 "协同训练" 的效果？改一个开关。想把 LIBERO 上训好的模型搬到 RoboTwin 上跑实机？同一个接口。

这就是为什么我们说它是 VLA 领域的 "PyTorch 时刻"—— 它把之前需要重写整个工程才能做的事，变成了改一行配置文件的事。

广义 VLA 视角：所有方法，其实是一个公式

在统一这些方法的过程中，还提出了一个非常漂亮的理论观察。

VLA 看似流派众多 —— 有的基于语言模型，有的基于视频生成模型；有的自回归，有的扩散；有的单系统，有的双系统 —— 但当你把它们都塞进同一个框架后会发现，它们在数学结构上可以用同一个公式表达：

不同方法的本质区别，仅在于选用什么 "预训练模型初始化" 以及 "辅助训练的信号" 是什么：

• VLM to VLA：以视觉语言模型为主干，通过指令微调输出动作；
• World-Model to VLA：以预测世界动态的模型为主干，结合规划或策略输出动作。

这个统一视角被称为 "广义 VLA"（Generalized VLA）。它意味着：与其纠结 "该选哪条路线"，不如思考 "该选什么样的辅助信号"。这一视角，为后续 VLA 的系统性研究提供了一个清晰的理论坐标系。

几个 "反直觉" 的实验发现

虽然 StarVLA 主打 "平台" 而非 "刷榜"，但在搭建过程中也 "顺手" 做了一批严格控制变量的实验，结果颇有意思：

发现 1：极简设置就能打出强基线

不做任何数据增强、只用基准原始数据和公开预训练权重，StarVLA 在 LIBERO 上仅用 30K 步就达到了 98.8% 的成功率， 在其他主流的 SimplerEnv, Robocasa-GR1, Robotwin 2.0, LIBERO-Plus 上也都有和主流大厂的模型具有非常接近的效果。

而前人代表方法 OpenVLA-OFT， GR00T, PI 等 在同一基准上需要 175K 步 —— 训练步数减少了 6 倍。

这说明：以前很多论文堆的 "训练 trick"，可能并没有想象中那么必要。一个干净、统一的工程实现本身，就能释放出巨大的性能空间。

发现 2：数据 "杂" 反而更强 —— 通用模型超越专用模型

把 LIBERO、SimplerEnv、RoboTwin、RoboCasa 四个基准的数据混在一起训练同一个模型，结果在难度最高的类人操作基准 RoboCasa-GR1 上，成功率从 48.8% 提升到了 57.3%。

这意味着：跨任务、跨形态的多样化数据并不会 "互相干扰"，反而会带来正向迁移。这是支持 "机器人大一统模型" 路线的一个重要经验证据。

发现 3：VLM 主干 vs World Model 主干，差距没有想象中大

在同一个 OFT 动作头下分别接入 Qwen3-VL（VLM 路线）和 Cosmos-Predict2（World Model 路线），两者的性能相当接近。

这是一个非常重要的初步结论：业界一直在争论的 "哪条路线才是 VLA 的未来"，可能本身就是个伪命题 —— 真正决定性能的，也许并不是主干的 "血统"，而是辅助信号、训练策略和数据组合。

发现 4：不做协同训练，VLM 会在几千步内 "失忆"

把一个预训练好的 VLM 微调成机器人策略时，它在几千步内就会迅速丢失原有的视觉理解和语言推理能力 —— 物体识别变差、空间定位崩坏、指令理解退化。

而加入多模态协同训练后，模型可以同时保住 "动脑" 和 "动手" 两种能力。这一现象在论文中以清晰的曲线图呈现，给所有想要微调 VLM 做机器人的研究者提了一个醒。

为什么这件事 "值得被看见"？

VLA 是当前最受资本和学术界关注的具身智能方向之一，但它也是最容易陷入 "内卷式刷榜" 的方向：每家都报告自己 SOTA，但没人能在公平条件下被验证。

StarVLA 的意义恰恰在于打破这种困境：

• ✅ 对研究者：终于有了一个可复现、可控制变量的实验平台，做消融、做对比不再需要从零造轮子；
• ✅ 对工程师：模块化设计 + 统一接口，从 "换主干" 到 "换基准" 再到 "上实机" 全部打通；
• ✅ 对整个领域：当所有方法都能在同一个框架里被公平地 "摆出来"，VLA 的发展就从 "比谁声音大"，进入到 "比谁经得起验证" 的科学阶段。

这正是一个领域走向成熟的标志 —— 也正是我们说它是具身智能的"PyTorch 时刻"的原因。

开源信息

目前全部代码、训练脚本、评估接口与预训练权重已开源，并将持续迭代。

如果你正在做 VLA 研究、想搭一套机器人策略基线、或者只是想搞清楚 "这些花里胡哨的 VLA 模型到底差在哪"——这个仓库，值得 Star 一下。