Google 测算 GKE 上智能体会话的成本:每小时 2 次提示时,用 Agent Substrate 停放空闲沙箱,100 个编码智能体的节点账单省 40%
智能体会话一开一整天、大部分时间在等人,按 Web 请求的方式扩缩容会为等待付钱。这一条给出成本模型和临界点,适合要把编码智能体搬到共享集群的团队。
// 要点
- 文中引用对 GitHub Copilot 智能体轨迹的研究:典型多轮会话里智能体约 80% 时间在等用户,每轮平均干活 396.3 秒。按每小时 2 次提示、8 小时工作日的假设,智能体只有 22% 的时间在工作。
- 一会话一 Pod 时,100 个编码智能体需要 34 个节点、每月约 1,288 美元。用 Agent Substrate 在空闲 2 分钟后把 actor 快照到对象存储、释放 worker,15 个节点的预热池加 1 个控制面节点即可,节点账单省 40%;约每 3,500 轮会遇到一次池满,请求等待默认 5 秒后返回 HTTP 503。
- 越忙越不划算:每小时 4 次提示时池要 27 个节点、只省 4%,约 4.5 次以上一会话一 Pod 更便宜;控制面成本固定,约 37 个编码会话起才值得。若 Pod 只请求 0.25 vCPU、上限 1 vCPU 超分,同样 100 个智能体 9 个节点就放得下,代价是互相抢 CPU。
- Agent Substrate 不会自己挂起空闲 actor,需要由你的 harness 在超时后调用 suspend 接口;自动扩缩容跟随 worker Pod 而非挂起的 actor,下班后要用定时任务把池缩到零。
开发者视角和 11-11 那条 NVIDIA 把 Agent Substrate 捐给 CNCF 连起来看,这是第一份能直接套用的账:先量自己的提示频率再选方案,每小时不到 4 次的会话适合停放,更活跃的直接一会话一 Pod 或超分。PandaClaws 的后台任务大多间歇触发,我会先打点统计会话的实际忙闲比。