新模型提升机器人三维空间理解与操作能力

机器人空间智能取得新突破

5月5日，从浙江人形机器人创新中心获悉，该中心联合香港中文大学、浙江大学等团队在机器人空间智能领域取得重要突破，提出名为RAM的三维空间理解与操作模型，为提升机器人在复杂长程任务中的操作可靠性提供了新的技术路径。相关成果近日发表于国际学术期刊《科学·机器人》。

以视觉语言大模型为代表的人工智能（AI）技术，提升了机器人理解自然语言指令和分解复杂任务的能力。但从“听懂指令”到“完成动作”之间，仍存在关键鸿沟，机器人需要在三维空间中理解物体的位置、朝向、尺度、可操作区域及相互关系，并将这些信息转化为可执行的运动约束。

“针对这一挑战，我们提出了RAM模型，其借鉴检索增强生成的思想，为大模型配备可查询的外部三维知识库。机器人执行任务时，模型可以按需检索物体类别、几何属性、功能平面、抓取点等信息，从而弥补视觉语言模型自身三维空间理解不足的问题。”团队成员、浙江人形机器人创新中心首席技术官许学成介绍。

研究团队还专门构建了面向机器人操作场景的空间理解问答评测集，结果显示，在该评测集覆盖的多类空间推理任务中，RAM模型的整体表现优于多种代表性视觉语言大模型。除核心任务外，RAM展现出一定通用性与扩展性。