工具 #开源模型 2026-11-17 · 原文发布 11-16

Amazon Bedrock 上的开源模型支持显式提示缓存,与隐式缓存一起通过 Chat Completions 接口使用

长系统提示、参考文档和工具定义每次都重发,缓存能省下这部分输入。这一条讲两种模式怎么选、怎么计费、怎么确认命中,适合在 Bedrock 上跑开源模型的问答或智能体应用。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 隐式缓存按尽力而为的方式自动复用符合条件的前缀;显式缓存用断点标出可复用前缀,可设多个断点(不超过模型上限),分层缓存变化频率不同的内容。最小前缀长度、断点上限和 TTL 见各模型卡,TTL 每次命中重置。
  • 缓存读取按低于标准输入的费率计费;视模型而定,缓存写入可能比标准输入贵。前缀之后的内容每次都变时,建议用显式缓存,避免为永远不会被读回的内容付写入费。
  • 示例中 OpenCode 编码智能体在同一接口上用隐式缓存、无需任何配置,后续每个请求都从缓存读取上一个请求为止的全部内容;跨区域推理在高峰期可能产生额外的缓存写入。

开发者视角AI 云盘的文档问答是典型的「固定长前缀 + 每次不同的问题」,适合显式断点;智能体循环用隐式就够。上线前按文中建议看响应里的 cached_tokens 字段确认真的命中,别只看月底账单猜。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-17 Hugging Face 把 Inference Providers 换成 OpenRouter 的路由:一个 HF token 调用 80 多家服务商托管的开源模型,不加价
  2. 11-17 NVIDIA 公布 MLPerf Endpoints v1.0 暂定成绩:Vera Rubin NVL72 在智能体推理上每千瓦吞吐是 GB300 NVL72 的 5 到 10 倍
  3. 11-16 tiny-voca 以 Apache 2.0 开放:4.5M 参数的英文 TTS 模型,在 4 个 CPU 线程上约 70 倍实时

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →