LEARNING
FlowPRO：基于近端偏好优化的流匹配VLA免奖励强化微调
Yihao Wu, He Zhang, Junbo Tan, Xueqian Wang, Zhengyou Zhang
- 发表年份
- 2026
- 访问权限
- 开放获取
摘要
本文提出FlowPRO框架，通过RPRO算法（结合对比优化与显式近端正则化）实现流匹配VLA模型的免奖励离线强化微调，消除了奖励欺骗问题。在数据方面，采用远程操作干预-回滚范式生成成对轨迹，并通过平滑插值和批量混合将稀疏修正转换为密集状态监督，在四类长时程双臂任务上验证了有效性。
关键词
reinforcement learningpreference optimizationflow matchingVLAreward-free
相关论文
LEARNING
📊 8,465 引用
The Organization of Behavior
D. O. Hebb
2005
LEARNING
📊 7,678 引用
Fractional Brownian Motions, Fractional Noises and Applications
Benoît B. Mandelbrot, John W. Van Ness
1968
LEARNING
开放获取📊 7,484 引用
Review of deep learning: concepts, CNN architectures, challenges, applications, future directions
Laith Alzubaidi, Jinglan Zhang, Amjad J. Humaidi 等 10 位作者
2021
LEARNING
📊 4,608 引用
A guide to deep learning in healthcare
Andre Esteva, Alexandre Robicquet, Bharath Ramsundar 等 10 位作者
2018