Amazon 提出 HOPE 专家剪枝:考虑专家两两协作,剪掉 50% 专家时平均排名 1.58,领先次优方法 REAP 的 2.42
MoE 模型的显存大头是闲置专家,剪掉又怕伤能力。这一条讲一种不用训练、可与量化叠加的剪枝方法,以及它的适用边界。
// 要点
- 以 Qwen3.5-122B 为例:每层 256 个专家、每 token 只用 8 个,约 250 GB 参数里 95% 是专家 MLP。
- HOPE 是二阶方法,计入专家之间的成对交互;在 Qwen3.5-122B、Qwen3.5-35B 与 GLM-4.5-Air 上与 4 种一阶方法比较,全部条件下平均排名 2.07(5 种方法),39% 的条件拿第一。
- 剪枝率越高优势越大,智能体编码任务上比次优方法最多高 6.1%;剪枝率 10%–20% 时一阶方法有时不相上下。
- 附带工具包分校准、求解、剪枝三步,已在 Qwen3、Qwen3-Next、Qwen3.5 与 GLM-4.5 上测试。
开发者视角自己部署 MoE 开放模型、卡在显存上的团队值得一试:先用自己产品的真实轨迹做校准数据(论文就用了 SWE-Bench 轨迹),剪 40%–50% 再叠量化,最后在自己的评测集上验,而不是只看公开榜单。