NVIDIA 开源 Snapshot:从 GPU 内存快照恢复推理副本只要 3.6 到 42.7 秒,比冷启动快 8 到 36 倍
扩容和故障恢复时,模型冷启动常常要几分钟。这一条讲 Snapshot 怎么跳过加载权重、编译和图捕获。
// 要点
- Snapshot 是 Kubernetes 上的开源 GPU 工作负载检查点与恢复系统,捕获已完成初始化的 CPU 与 GPU 内存状态,可在相同 GPU 型号与驱动的节点上恢复。
- 在测试配置中恢复用时 3.6 至 42.7 秒,比数分钟的冷启动快 8 至 36 倍;建检查点用时 15 秒到 5.5 分钟,检查点加恢复的总时长在每个配置下都短于一次冷启动。
- 支持 vLLM、SGLang 与 TensorRT-LLM,以及张量并行、数据与专家并行等多 GPU 方式,大型 MoE 模型的检查点最大约 1 TB、跨 8 张 GPU。
- 上游贡献者之一把 GLM-5.3 的 Pod 就绪时间从约 8 分钟降到 31 秒(HGX B300)。
开发者视角自部署开放模型的团队,最贵的往往是「为防高峰一直留着的那几张卡」。冷启动从几分钟降到半分钟以内,就有底气把空闲副本缩到零、按需拉起。我会先在离线批处理那类可以容忍几十秒延迟的服务上试,确认 GPU 型号和驱动要一致这一约束能不能接受。