开源 #开源模型 2026-11-19 · 原文发布 11-18

Hugging Face 演示 Transformers 从 SSD 流式加载 MoE 专家:180B 参数模型在 32 GB 内存的 MacBook 上跑到约 14 tok/s

MoE 模型放不进显存时,各推理框架的卸载方式差别很大。这一条讲一个正在合入 Transformers 的专家流式加载方案及其实测,适合想在本地跑大 MoE 模型的开发者。

图片来源:Hugging Face 博客
一手来源 Hugging Face 博客 · huggingface.co 读原文 ↗

// 要点

  • 专家占 MoE 模型权重的 90% 以上;方案把专家放在磁盘,设备上只保留一个所有层共享的专家缓存「槽位池」,让 grouped_mm 原样运行。
  • 缓存全命中时速度从第一版的 10.1 tok/s 提到 34.6 tok/s(原生 38.1);预取下两层的专家,预填充从 68 提到约 228 tok/s。
  • 在 32 GB 的 M5 MacBook 上跑 Qwen3.8-Flash-Next,短解码比 Strata 慢约 6%,预填充略快;加载后占用约 18 GiB。
  • 代码在 PR huggingface/transformers#50717,API 仍在与维护者讨论;作者说全部代码由 AI 编写。

开发者视角14 tok/s 作者自己都说不够跑编码智能体,所以它的价值不在「笔记本跑 180B」,而在 Transformers 原生支持按专家卸载之后,评测和离线批处理可以不换框架就用上大 MoE 模型。我会等 PR 合入后再用;现在要本地跑,还是 llama.cpp 或 Strata 更现实。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-19 Cloudflare 开放 Clairic 与 Clairic-flash 权重:27B 与 9B 两个信息抽取模型,支持 PDF,只按输入 token 计费
  2. 11-19 AWS Lambda Managed Instances 支持 GPU:在 EC2 G 系列上跑推理函数,预置 vLLM、SGLang 与 PyTorch 镜像
  3. 11-19 Rumble-2-Flash 以 Apache 2.0 开源:0.5B 参数语音识别模型支持 40 多种语言,多语种平均错误率 6.96%

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →