工具 #智能体#OpenAI 2026-10-27 · 原文发布 10-26

AWS 给出 Bedrock 上 OpenAI 模型的提示缓存写法:隐式与显式断点并用,前缀至少 1,024 token

智能体每一轮都要重读全部历史,缓存是省钱的关键。这一条是可以照抄的缓存规则。

一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • Bedrock 支持隐式缓存(由 Bedrock 决定可复用前缀在哪结束)和显式缓存(代码里用 prompt_cache_breakpoint 标记),AWS 建议两者并用:工具和指令用显式,增长的对话历史交给隐式。
  • 可复用前缀至少要 1,024 token;在一次测试中,约 4,000 token 的工具加指令前缀首次写入 4,120 token,之后的请求读取同样的 4,120 token。
  • 缓存只在文本完全一致时命中:工具列表和指令每次要以同样方式序列化,MCP 服务器提供的工具要保持顺序稳定;日期、用户名、请求 ID 这类变量放在缓存内容之后。
  • 设 store=False 只是不在服务端保存响应,不会关闭提示缓存。

开发者视角这些规则不只适用于 Bedrock:把时间戳塞进系统提示开头,是我见过最常见的缓存失效原因。我在博客里写过 RAG 一个月的真实账单,结论是控制上下文长度回报最高;智能体同理,先把工具定义和指令做成固定前缀,再看缓存命中率,最后才考虑换模型。

// 来龙去脉 · 来自 #智能体 专题

看完整时间线 →
  1. 10-27 GPT-6.1 Terra 同日在 Amazon Bedrock 正式可用,OpenAI 测评称其完成任务比 GPT-6 Astra 快 3 倍以上
  2. 10-27 Cloudflare 披露 GLM-5.3 跨请求泄露:155 条回复混入其他客户的数据,根因是 KV 缓存池小于上下文加上 SGLang 缺陷
  3. 10-27 Google Docs 原生编辑 Markdown 文件,Drive 可直接预览,面向人和智能体协作

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →