OTHER
FactoryBench：评估工业机器理解
Yanis Merzouki, Coral Izquierdo, Matei Ignuta-Ciuncanu, Marcos Gomez-Bracamonte, Riccardo Maggioni, Alessandro Lombardi, Camilla Mazzoleni, Federico Martelli, Balazs Gunther, Jonas Petersen, Philipp Petersen
- 发表年份
- 2026
- 访问权限
- 开放获取
摘要
本文提出了FactoryBench基准，用于评估时间序列模型和大型语言模型在工业机器人遥测数据上的机器理解能力。该基准包含超过7万个问答对，覆盖因果推理的四个层次和五种答案格式，测试结果显示当前最先进的模型在结构化层次上准确率不超过50%，在决策层次上不超过18%。
关键词
benchmarktime-seriescausal reasoningrobotic telemetryLLM evaluation
相关论文
OTHER
📊 26,957 引用
Statistical Learning Theory
Yuhai Wu, Vladimir Vapnik
1999
OTHER
开放获取📊 20,501 引用
Fractional Differential Equations
Igor Podlubný
2025
OTHER
📊 18,993 引用
Applied Nonlinear Control
Jean-Jacques Slotine, Weiping Li
1991
OTHER
📊 13,277 引用
Genetic Programming: On the Programming of Computers by Means of Natural Selection
John R. Koza
1992