工具 #开源模型#编码智能体 2026-11-22 · 原文发布 11-20

AWS 发布分布式 KV 缓存智能体技能:在编码智能体里评估并搭建 ElastiCache 共享 KV 层,自托管推理成本最多降 40%、首 token 延迟最多降 80%

自托管模型时,回到旧对话的请求常常要把几十万 token 的预填充重算一遍。这一条讲共享 KV 层的思路,以及这个技能怎么先算账再动手。

图片来源:AWS Machine Learning Blog
一手来源 AWS Machine Learning Blog · aws.amazon.com 读原文 ↗

// 要点

  • 在 GPU 本地缓存之外加一层与 GPU 机群相邻的共享 KV 层,任一服务器都能跨会话、路由切换和故障复用 KV 状态,最长可保留数天;AWS 称成本最多降 40%、首 token 延迟最多降 80%。
  • 技能收录在 Agent Toolkit for AWS,可在 Kiro、Claude Code、OpenAI Codex 等支持 Agent Skills 的编码智能体里用:先做适配检查,用 KVTrace 按你自己的流量估算收益,收益覆盖不了缓存成本就停。
  • 通过 LMCache 连接器接入现有 vLLM 或 SGLang(含 llm-d、Ray Serve 下的 vLLM),统一各服务器的 KV ID 机制与数据类型;上线前清空本地层,核对两次缓存加载运行输出一致。
  • 前提包括支持 EFA RDMA 写的 GPU 实例(如 p5)、LMCache 0.5.8rc1+、vLLM 0.11.1+(或 SGLang 0.5.13+)和 ElastiCache for Valkey 9.1+;创建、修改、删除资源前需显式确认。

开发者视角更值得学的是这个技能的写法:先只读检查、再用自己的流量估收益、算不过账就停、高影响操作要人确认,这是把运维知识写成 skill 的好样板。长对话占比高的自托管服务,我会先跑 KVTrace 看缓存命中率再决定;注意它提醒的那个坑:布局不一致时命中计数正常但答案是错的,上线前一定要做输出一致性核对。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-22 SageMaker JumpStart 上线模型排行榜:70 多个 LLM 在同一评测设置下比质量,并实测首 token 延迟、吞吐和实例成本
  2. 11-22 NVIDIA 把 Dynamo 接进强化学习训练:KV 感知路由和增量权重分发让 H Company 单步训练时间最多缩短 20%、GPU 时最多省 5%
  3. 11-22 NVIDIA 开源 Dynamo 背后的 Rust 工具调用解析器 frontend-crates,用跨模型家族共享的一致性测试集让 AI 智能体给新模型写解析器

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →