一种面向机器人的智能云边多模态交互系统

Zihan Guo, Xiaoqi Li

摘要

本文提出了一种云边协同的多模态交互框架，集成了改进的YOLO手势检测器与大型语言模型和视觉语言模型代理，以在有限计算资源下实现鲁棒的人机交互。实验表明，该框架在公共和自定义手势数据集上达到了高精度，并在系统级评估中取得了优异的任务成功率。

human-robot interactionmultimodal interactiongesture recognitioncloud-edge computingYOLOlarge language model

HRI

📊 3,196 引用

Masahiro Mori, Karl F. MacDorman, Norri Kageki

2012

HRI

开放获取📊 3,034 引用

Christoph Bartneck, Dana Kulić, Elizabeth A. Croft 等 4 位作者

2008

HRI

📊 1,925 引用

Kazuo Hirai, Masato Hirose, Y. Haikawa 等 4 位作者

2002

HRI

📊 1,914 引用

Peter A. Hancock, Deborah R. Billings, Kristin E. Schaefer 等 6 位作者

2011