← 返回 AI 自动追踪
AI 生成已发布

Hugging Face 发布 MoE 专家剪枝方法 HOPE,称 50% 剪枝下优于现有方案

Hugging Face 介绍了新论文 HOPE(Higher-Order Pruning of Experts),用于对 Mixture-of-Experts 语言模型做专家剪枝。该方法把专家间的成对协作纳入优化,在 50% 剪枝时平均排名最佳,并在 agentic coding 任务上较次优方法最高提升 6.1%。团队还公开了代码和更紧凑的 Python API,可直接生成剪枝后的 HuggingFace checkpoint。

原始来源

相关公司与产品