我们究竟在机器人操作基准测试中衡量什么？

Tianchong Jiang, Xiangshan Tan, Samuel Wheeler, Luzhe Sun, Tewodros W. Ayalew, Matthew Walter

摘要

本文指出机器人操作基准测试存在四种失效模式，包括捷径可解性、缺乏统计显著性、渐进过拟合和数据源依赖，并提出相应的诊断方法。通过对多个流行基准的审计，发现许多声称的进展缺乏统计支持，且小模型在部分基准上可达到或接近最先进水平。

benchmark auditingmanipulationfailure modesstatistical significanceoverfitting

MANIPULATION

📊 2 引用

Yusen Li, Ziwei Wang, Xiangye Zhu 等 12 位作者

Robotics and Computer-Integrated Manufacturing · 2026

MANIPULATION

📊 1 引用

Shaoqing Qin, Lida Zhu, Yanpeng Hao 等 10 位作者

Robotics and Computer-Integrated Manufacturing · 2026

MANIPULATION

📊 0 引用

Xu Tang, Jixiang Yang, Han Ding

Robotics and Computer-Integrated Manufacturing · 2027

MANIPULATION

📊 0 引用

Xinghui Han, Xin Chen, Fangyan Zheng 等 5 位作者

Robotics and Computer-Integrated Manufacturing · 2026