Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices

论文总结与翻译：Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices

一、论文主要内容总结

该论文针对基于混合专家（Mixture-of-Experts, MoE）架构的稀疏激活大型语言模型（LLMs）在资源受限设备上的联邦微调难题展开研究，提出了名为Flux的系统，旨在最小化模型达到目标精度所需的时间（time-to-accuracy）。

1. 研究背景与挑战

• MoE模型特性：MoE-based LLMs包含多个专业专家网络，需通过微调适配特定领域数据，但现实中数据常分散在多个参与者手中，且受隐私保护或法律限制无法共享，联邦学习成为理想训练范式。
• 核心挑战：MoE模型规模庞大（如Qwen2-MoE参数达57.4B，占用112.4GB内存），超出个体参与者计算能力；现有优化方法（量化、计算卸载、专家剪枝）存在精度损失、延迟高或性能下降等问题，且未充分考虑MoE特有属性。

2. 关键观察

1. MoE微调成本高：即使仅更新专家参数（占模型参数超2/3），微