LOCOMOTION
SoftNav：将3D场景令牌注入视觉语言模型以实现具身导航
Yi Wu, Junjie An, Xiao Liu, Yiqun Zhou, Yuechen Wu, Xiaoqing Guan, Shuyang Yu, You Wang, Guang Li
- 发表年份
- 2026
- 访问权限
- 开放获取
摘要
SoftNav通过轻量投影器将实体级3D连续表示（每个检测到的物体或前沿一个令牌）注入视觉语言模型的隐藏空间，弥合了3D场景与语言模型之间的表示差距。该方法仅需约1200个样本和1700万可训练参数，在HM3D-OVON上超越所有先前方法，并零样本迁移到多个基准和真实机器人部署。
关键词
embodied navigation3D scene tokensvision-language modelsoft tokenszero-shot transfer
相关论文
LOCOMOTION
开放获取📊 3,141 引用
Trust Region Policy Optimization
John Schulman, Sergey Levine, Philipp Moritz 等 5 位作者
2015
LOCOMOTION
📊 2,724 引用
Legged Robots That Balance
Marc H. Raibert, Ernest R. Tello
1986
LOCOMOTION
📊 2,658 引用
Being there: putting brain, body, and world together again
1997
LOCOMOTION
📊 2,305 引用
Small-scale soft-bodied robot with multimodal locomotion
Wenqi Hu, Guo Zhan Lum, Massimo Mastrangeli 等 4 位作者
2018