NVIDIA 把 Agent Substrate 捐给 CNCF Sandbox:空闲智能体会话连内存与文件系统一起快照,密度比普通容器高 10 倍
智能体大部分时间在等,Kubernetes 却按常驻服务设计。这一条讲 Agent Substrate 怎么用少量常驻 Pod 撑起大量会话。
// 要点
- Agent Substrate 是开源、零信任的沙箱智能体运行时,已捐给 CNCF Sandbox;它把大量会话复用到少量常驻 Kubernetes Worker Pod 上,官方称密度比标准容器高 10 倍。
- 会话空闲时连同内存与文件系统从 gVisor 或 microVM 沙箱中快照出去、释放 Worker;下次请求时恢复到任意空闲 Worker,不再经过 API Server、调度器和 kubelet。
- 面向三类负载:在模型调用和仓库操作之间来回的编码助手、突发的强化学习环境、做编译和基准测试的短时 GPU 沙箱。
- 上游新增功能包括 Worker 全忙时在路由层排队等待而不是直接报错,以及与 NVIDIA Dynamo 配合,按会话身份和 KV 缓存位置把相关模型调用路由到已有上下文的 Worker。
开发者视角自建智能体平台的团队,现在常见的两难是「每个会话一个常驻 Pod 太贵」和「按需起 Pod 每步都冷启动」。如果你的会话也是「跑 10 毫秒、等几分钟」的形状,我会先拿 Agent Substrate 在测试集群里压一下密度和恢复时延,再决定要不要继续自研会话池;和 11-09 AWS Nitro Sandboxes 一起看,隔离和密度都在往标准件走。