访问集至关重要：为可扩展的权重空间模型合并预算专家读取

Yuanyi Wang, Yanggan Gu, Su Lu, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

摘要

本文提出MergePipe，一种预算感知的执行层，将大语言模型合并视为专家访问集问题，在显式I/O预算下选择要访问的专家增量块。实验表明，MergePipe在Qwen和Llama合并任务中减少了高达一个数量级的专家读取I/O，并实现了最高11倍的加速。

model mergingweight-spacebudget-awareLLMI/O optimization

LEARNING

开放获取📊 1 引用

Keyi Shen, Glen Chou

2026

LEARNING

📊 0 引用

Hedi Boukamcha, Anas Neumann, Monia Rekik 等 6 位作者

Robotics and Computer-Integrated Manufacturing · 2026

LEARNING

📊 0 引用

Xiwei Wu, Wei Wu, Qiqi Chen 等 9 位作者

Robotics and Computer-Integrated Manufacturing · 2026

LEARNING

📊 0 引用

Jiaxin Liu, Xiaofeng Zhou, Suyang Yu 等 8 位作者

Robotics and Computer-Integrated Manufacturing · 2026