Hugging Face 演示 Transformers 从 SSD 流式加载 MoE 专家:180B 参数模型在 32 GB 内存的 MacBook 上跑到约 14 tok/s
MoE 模型放不进显存时,各推理框架的卸载方式差别很大。这一条讲一个正在合入 Transformers 的专家流式加载方案及其实测,适合想在本地跑大 MoE 模型的开发者。
// 要点
- 专家占 MoE 模型权重的 90% 以上;方案把专家放在磁盘,设备上只保留一个所有层共享的专家缓存「槽位池」,让 grouped_mm 原样运行。
- 缓存全命中时速度从第一版的 10.1 tok/s 提到 34.6 tok/s(原生 38.1);预取下两层的专家,预填充从 68 提到约 228 tok/s。
- 在 32 GB 的 M5 MacBook 上跑 Qwen3.8-Flash-Next,短解码比 Strata 慢约 6%,预填充略快;加载后占用约 18 GiB。
- 代码在 PR huggingface/transformers#50717,API 仍在与维护者讨论;作者说全部代码由 AI 编写。
开发者视角14 tok/s 作者自己都说不够跑编码智能体,所以它的价值不在「笔记本跑 180B」,而在 Transformers 原生支持按专家卸载之后,评测和离线批处理可以不换框架就用上大 MoE 模型。我会等 PR 合入后再用;现在要本地跑,还是 llama.cpp 或 Strata 更现实。