Amazon Bedrock 上的开源模型支持显式提示缓存,与隐式缓存一起通过 Chat Completions 接口使用
长系统提示、参考文档和工具定义每次都重发,缓存能省下这部分输入。这一条讲两种模式怎么选、怎么计费、怎么确认命中,适合在 Bedrock 上跑开源模型的问答或智能体应用。
// 要点
- 隐式缓存按尽力而为的方式自动复用符合条件的前缀;显式缓存用断点标出可复用前缀,可设多个断点(不超过模型上限),分层缓存变化频率不同的内容。最小前缀长度、断点上限和 TTL 见各模型卡,TTL 每次命中重置。
- 缓存读取按低于标准输入的费率计费;视模型而定,缓存写入可能比标准输入贵。前缀之后的内容每次都变时,建议用显式缓存,避免为永远不会被读回的内容付写入费。
- 示例中 OpenCode 编码智能体在同一接口上用隐式缓存、无需任何配置,后续每个请求都从缓存读取上一个请求为止的全部内容;跨区域推理在高峰期可能产生额外的缓存写入。
开发者视角AI 云盘的文档问答是典型的「固定长前缀 + 每次不同的问题」,适合显式断点;智能体循环用隐式就够。上线前按文中建议看响应里的 cached_tokens 字段确认真的命中,别只看月底账单猜。