AWS 发布分布式 KV 缓存智能体技能:在编码智能体里评估并搭建 ElastiCache 共享 KV 层,自托管推理成本最多降 40%、首 token 延迟最多降 80%
自托管模型时,回到旧对话的请求常常要把几十万 token 的预填充重算一遍。这一条讲共享 KV 层的思路,以及这个技能怎么先算账再动手。
// 要点
- 在 GPU 本地缓存之外加一层与 GPU 机群相邻的共享 KV 层,任一服务器都能跨会话、路由切换和故障复用 KV 状态,最长可保留数天;AWS 称成本最多降 40%、首 token 延迟最多降 80%。
- 技能收录在 Agent Toolkit for AWS,可在 Kiro、Claude Code、OpenAI Codex 等支持 Agent Skills 的编码智能体里用:先做适配检查,用 KVTrace 按你自己的流量估算收益,收益覆盖不了缓存成本就停。
- 通过 LMCache 连接器接入现有 vLLM 或 SGLang(含 llm-d、Ray Serve 下的 vLLM),统一各服务器的 KV ID 机制与数据类型;上线前清空本地层,核对两次缓存加载运行输出一致。
- 前提包括支持 EFA RDMA 写的 GPU 实例(如 p5)、LMCache 0.5.8rc1+、vLLM 0.11.1+(或 SGLang 0.5.13+)和 ElastiCache for Valkey 9.1+;创建、修改、删除资源前需显式确认。
开发者视角更值得学的是这个技能的写法:先只读检查、再用自己的流量估收益、算不过账就停、高影响操作要人确认,这是把运维知识写成 skill 的好样板。长对话占比高的自托管服务,我会先跑 KVTrace 看缓存命中率再决定;注意它提醒的那个坑:布局不一致时命中计数正常但答案是错的,上线前一定要做输出一致性核对。