首页 /研究 /通过动作驱动数字孪生对手术室视频进行推理式文本检索
SURGICAL

通过动作驱动数字孪生对手术室视频进行推理式文本检索

Yiqing Shen, Hao Ding, Mathias Unberath

发表年份
2026
访问权限
开放获取

摘要

本文提出OR3方法,通过将手术室视频片段转换为动作驱动数字孪生(ActDTs)并利用大语言模型生成假设的ActDTs进行想象式检索,解决了需要推理的隐式文本查询问题。该方法在MM-OR数据集上构建了包含276个隐式查询的基准测试,实现了跨模态匹配到单模态匹配的范式转变。

关键词

text-to-video retrievaloperating roomdigital twinsreasoningaction-driven

相关论文

查看 SURGICAL 分类全部论文