研究 #开源模型 2026-11-10 · 原文发布 11-09

Amazon 提出 HOPE 专家剪枝:考虑专家两两协作,剪掉 50% 专家时平均排名 1.58,领先次优方法 REAP 的 2.42

MoE 模型的显存大头是闲置专家,剪掉又怕伤能力。这一条讲一种不用训练、可与量化叠加的剪枝方法,以及它的适用边界。

图片来源:Hugging Face 博客(Amazon)
一手来源 Hugging Face 博客(Amazon) · huggingface.co 读原文 ↗

// 要点

  • 以 Qwen3.5-122B 为例:每层 256 个专家、每 token 只用 8 个,约 250 GB 参数里 95% 是专家 MLP。
  • HOPE 是二阶方法,计入专家之间的成对交互;在 Qwen3.5-122B、Qwen3.5-35B 与 GLM-4.5-Air 上与 4 种一阶方法比较,全部条件下平均排名 2.07(5 种方法),39% 的条件拿第一。
  • 剪枝率越高优势越大,智能体编码任务上比次优方法最多高 6.1%;剪枝率 10%–20% 时一阶方法有时不相上下。
  • 附带工具包分校准、求解、剪枝三步,已在 Qwen3、Qwen3-Next、Qwen3.5 与 GLM-4.5 上测试。

开发者视角自己部署 MoE 开放模型、卡在显存上的团队值得一试:先用自己产品的真实轨迹做校准数据(论文就用了 SWE-Bench 轨迹),剪 40%–50% 再叠量化,最后在自己的评测集上验,而不是只看公开榜单。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-10 NVIDIA Nemotron 3.5 Super VL 上架 SageMaker JumpStart:120B 总参数、12B 激活,100 万 token 上下文,NVFP4 版约 75 GB
  2. 11-09 Ai2 开源机器人学习框架 ToyBlocks:85,336 条长时程示范、约 1,600 小时数据,单 GPU 最快 24 倍实时生成
  3. 11-08 Kimi K3.1 Pro(Highspeed)上架 Amazon Bedrock:开放权重、原生多模态、100 万 token 上下文,支持显式提示词缓存

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →