GesVLA：手势感知的视觉-语言-动作模型嵌入式表示

Wenxuan Guo, Ziyuan Li, Meng Zhang, Yichen Liu, Yimeng Dong, Chuxi Xu, Yunfei Wei, Ze Chen, Erjin Zhou, Jianjiang Feng

2026

摘要

提出GesVLA模型，将手势作为并行指令模态融入视觉-语言-动作框架，通过双VLM架构和两阶段训练策略解决复杂场景中的空间歧义问题。在真实机器人任务上验证了手势输入能显著提升目标定位精度和人机交互效率。

gesture-awarevision-language-actionrobot manipulationspatial ambiguityhuman-robot interaction

MANIPULATION

开放获取

Al Bashir, Shao-Yang Chang, Partho Ghose 等 6 位作者

2026

MANIPULATION

开放获取

Remko Proesmans, Thomas Lips, Francis wyffels

2026

MANIPULATION

开放获取

Ziyan Feng, Yulong Fu, Zheng Li 等 9 位作者

2026

MANIPULATION

开放获取

Jisu Shin, Junoh Lee, JunGyu Lee 等 8 位作者

2026