NVIDIA 用开源的 AI Cluster Runtime 承载 Dynamo 1.4.2：验证配方钉死约 18 个 Helm chart，面向 EKS 上的 GB200、GB300 NVL72
自建推理最费时间的往往是模型下面那一层，这篇把驱动、调度、观测和入口打包成可验证的配方。
// 要点
- 在 Kubernetes 上跑 Dynamo 需要下面一层：GPU 驱动、设备分配、调度、节点健康、指标和入口；开源的 AI Cluster Runtime（AICR）把它做成验证过的配方，每个配方钉死组件版本、附带兼容约束和验证检查。
- AICR v1.0.0 配方面向 Amazon EKS 上的 GB200 NVL72 和 GB300 NVL72，约 18 个钉死的 Helm chart，包括 GPU Operator v26.7.1、KAI Scheduler v0.16.9，以及 1.4.2 版 dynamo-platform chart。
- 两条路由路径：最简单拓扑用 Dynamo Frontend 路由，共享入口用 Gateway API Inference Extension 加 Endpoint Picker，两者都按 KV 缓存感知路由；默认不再安装 NATS。
- 流程分五步：给集群做快照、生成配方、渲染安装包、部署运行时、安装应用前验证；可用 Helmfile、纯 Helm 脚本或给 Argo CD、Flux 的 GitOps 包部署。Dynamo 1.5 计划用原生 Rust 的 EPP 替换现在的 Go/CGO 桥接。
开发者视角大多数做产品的团队用不上 NVL72，但「把版本组合钉死再验证」值得照搬：自建推理最常见的坑不在模型，而在驱动、调度和网关之间的版本漂移。私有部署开放模型的，先把整套依赖写成一份可回放的清单，升级只动一处。和 10-27 Cloudflare 那次 KV 缓存跨请求泄露连起来看，上了 KV 缓存感知路由，就要补多租户隔离测试。