Gaze2Act：基于注视条件的视觉-语言-行动策略用于交互式机器人操作

Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

摘要

本文提出Gaze2Act框架，通过人类注视作为动态意图信号，结合跨视角语义匹配将第一人称注视映射到机器人视角，实现粗到细的目标指定。在Unitree G1人形机器人上的16项真实任务中，该方法在意图准确率和任务成功率上均达到最先进水平。

human gazeVLAintent specificationinteractive manipulationhumanoid

HRI

📊 3 引用

Kai Ding, Qingyuan Mao, Yaqian Zhang 等 6 位作者

Robotics and Computer-Integrated Manufacturing · 2026

HRI

📊 0 引用

Yingchao You, Ze Ji, Changyun Wei

Robotics and Computer-Integrated Manufacturing · 2026

HRI

📊 0 引用

Jiahui Si, Wenchao Li, Xi Chen 等 7 位作者

Robotics and Computer-Integrated Manufacturing · 2026

HRI

📊 0 引用

Rui Qian, Xi Zhang, Dongpeng Li 等 5 位作者

Robotics and Computer-Integrated Manufacturing · 2026