开源 #开源模型 2026-11-11 · 原文发布 11-10

NVIDIA 开源 Snapshot:从 GPU 内存快照恢复推理副本只要 3.6 到 42.7 秒,比冷启动快 8 到 36 倍

扩容和故障恢复时,模型冷启动常常要几分钟。这一条讲 Snapshot 怎么跳过加载权重、编译和图捕获。

图片来源:NVIDIA 技术博客
一手来源 NVIDIA 技术博客 · developer.nvidia.com 读原文 ↗

// 要点

  • Snapshot 是 Kubernetes 上的开源 GPU 工作负载检查点与恢复系统,捕获已完成初始化的 CPU 与 GPU 内存状态,可在相同 GPU 型号与驱动的节点上恢复。
  • 在测试配置中恢复用时 3.6 至 42.7 秒,比数分钟的冷启动快 8 至 36 倍;建检查点用时 15 秒到 5.5 分钟,检查点加恢复的总时长在每个配置下都短于一次冷启动。
  • 支持 vLLM、SGLang 与 TensorRT-LLM,以及张量并行、数据与专家并行等多 GPU 方式,大型 MoE 模型的检查点最大约 1 TB、跨 8 张 GPU。
  • 上游贡献者之一把 GLM-5.3 的 Pod 就绪时间从约 8 分钟降到 31 秒(HGX B300)。

开发者视角自部署开放模型的团队,最贵的往往是「为防高峰一直留着的那几张卡」。冷启动从几分钟降到半分钟以内,就有底气把空闲副本缩到零、按需拉起。我会先在离线批处理那类可以容忍几十秒延迟的服务上试,确认 GPU 型号和驱动要一致这一约束能不能接受。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-11 Hugging Face 为「决策模型」定统一接口:Transformers 加入 DecisionPipeline,llama.cpp 同样支持
  2. 11-10 NVIDIA Nemotron 3.5 Super VL 上架 SageMaker JumpStart:120B 总参数、12B 激活,100 万 token 上下文,NVFP4 版约 75 GB
  3. 11-10 Amazon 提出 HOPE 专家剪枝:考虑专家两两协作,剪掉 50% 专家时平均排名 1.58,领先次优方法 REAP 的 2.42

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →