LEARNING
FoMoE：打破全副本壁垒的MoE联邦系统
Lorenzo Sani, Zeyu Cao, Meghdad Kurmanji, Alex Iacob, Andrej Jovanovic, Yan Gao, Wanru Zhao, Nicholas D. Lane
- 发表年份
- 2026
- 访问权限
- 开放获取
摘要
FoMoE通过将专家层分布到不同工作节点上，打破了传统分布式训练中每个站点必须持有完整模型副本的限制。实验表明，该方法相比高效基线方法可减少最多1.42倍的通信开销，相比DDP则减少45.44倍，为跨地域弱连接数据中心的大规模模型训练提供了新方案。
关键词
Mixture-of-Expertsdistributed traininglarge language modelsfederated learningcommunication efficiency
相关论文
LEARNING
📊 8,465 引用
The Organization of Behavior
D. O. Hebb
2005
LEARNING
📊 7,678 引用
Fractional Brownian Motions, Fractional Noises and Applications
Benoît B. Mandelbrot, John W. Van Ness
1968
LEARNING
开放获取📊 7,484 引用
Review of deep learning: concepts, CNN architectures, challenges, applications, future directions
Laith Alzubaidi, Jinglan Zhang, Amjad J. Humaidi 等 10 位作者
2021
LEARNING
📊 4,608 引用
A guide to deep learning in healthcare
Andre Esteva, Alexandre Robicquet, Bharath Ramsundar 等 10 位作者
2018