Human-robot Autonomous Collaboration Method of Smart Manufacturing Systems Based on Large Language Model and Machine Vision

Abstract

摘要： 工业4.0阶段，人工智能、大数据、物联网等新兴技术层出不穷，加速推动制造业转型升级，在这个过程中，各类机器人扮演着越来越重要的角色，也为智能制造高质量发展夯实了基础。随着工业5.0的提出，以人为中心的理念逐渐深入人心，催生了人本智造这一新兴领域。人与机器人在智能制造系统中的界限变得越来越不明显，人与机器人自主协同作业研究成为了热点。因此，提出基于大语言模型和机器视觉的智能制造系统人机自主协同作业方法，借助机器视觉和大语言模型的优势提高智能制造系统中人机协同作业的智能化水平。首先，融合机器视觉和深度学习对智能制造系统中人机协同作业过程进行动态精准感知，通过融合YOLO算法和迁移学习来识别作业状态，利用长短期记忆网络和注意力机制准确追踪操作工动作。然后，面向人机协同作业对大语言模型进行微调，建立基于微调大模型的人机协同作业决策框架，为提供机器人自主配合操作工完成动态作业的任务指令，形成人机自主协同作业闭环。最后，通过一个减速器装配案例验证了该方法的有效性。