AgentCore 运行时支持构建钩子,AWS 给出四种加快会话启动的做法:新会话约 2 秒,已运行的会话约 200 毫秒
接 11-13 那条新一代运行时成为默认:这一条讲快照机制下哪些初始化该提前做、新增的构建钩子怎么用,以及聊天和语音场景怎样做到一秒以内。
// 要点
- V2 在创建或更新运行时时只启动一次容器,等待 120 秒内的首个健康检查,然后冻结 microVM,把内存和磁盘存成快照;每个新会话从快照恢复。代价是每次创建或更新都要多花几分钟构建快照。
- 内存会完整恢复,但文件缓存在冻结前被清空,镜像里的文件在首次读取时才拉取;因此库导入和客户端创建应放在初始化里,tsc 这类独立进程的工具链可在初始化时复制到 /dev/shm。
- 构建钩子:运行时在构建期间向容器的 HTTP 端点发两次 POST,请求头分别标明 memory 与 disk,两次共用 120 秒;返回非 2xx 会让创建或更新失败,且不会重试。
- 要做到一秒以内,可在用户打开应用或聊天窗口时就在后台启动会话;空闲超时默认 15 分钟(可设 60 秒到 8 小时),单个会话最长 8 小时。
开发者视角智能面试里候选人开口前那两秒的空白很伤体验,「用户打开面试页就预热会话」是最便宜的解法;代价是打开了却不开始的用户也占一个会话,所以空闲超时要设短。无论用不用 AgentCore,把初始化挪到快照前、首个请求只做必须的事,这个思路在任何冷启动的服务上都适用。