超越预训练的Muon再思考：VLA和RLVR中的频谱失败与高通补救方法

Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

摘要

本文揭示了Muon优化器在跨模态VLA训练和RLVR中的频谱缺陷，并提出Pion优化器，通过高通NS迭代实现可控的频谱滤波，在保持计算效率的同时显著提升性能。

Muon optimizerspectral whiteninghigh-pass filtervision-language-actionreinforcement learning

LEARNING

📊 8,465 引用

D. O. Hebb

2005

LEARNING

📊 7,678 引用

Benoît B. Mandelbrot, John W. Van Ness

1968

LEARNING

开放获取📊 7,484 引用

Laith Alzubaidi, Jinglan Zhang, Amjad J. Humaidi 等 10 位作者

2021

LEARNING

📊 4,608 引用

Andre Esteva, Alexandre Robicquet, Bharath Ramsundar 等 10 位作者

2018