基于功能识别的操作规划：文本目标与通过实到仿真图像转换的仿真到现实泛化

摘要

本文提出了一种基于功能识别和动作效果预测的操作规划系统，通过视觉形式推理未来可能状态，并利用多模态目标匹配模块评估候选计划与文本目标的一致性。系统还引入图像转换模块，将真实世界状态图像转换为统一视觉外观，从而在物理机器人上实现操作规划，并在仿真和硬件上验证了其有效性。