Cloudflare 把内部 AI 代码审查的平均单次成本降了 68%,从 2.43 美元降到 0.77 美元
一份带账单的复盘:一个多审查员的代码审查智能体,怎么在 token 用量翻了三倍的情况下把钱和时间都省下来。
// 要点
- 单次审查平均成本从 2.43 美元降到 0.77 美元;中位耗时从 4 分 09 秒降到 1 分 32 秒,P99 从 15 分 20 秒降到 4 分 41 秒。
- 最大的一处改动是挪动提示缓存断点,让不同仓库共享同一段前缀:首个请求的缓存读取占比从 14%–26% 升到 91%–99.5%。
- 每次审查的 token 数从 0.91M 涨到 2.99M,成本仍然下降;约 40% 的节省来自审查员代码改动,其余来自模型与推理强度的调整。
- 在单价相同的情况下,Sonnet 5.5 每次运行比 Sonnet 5 便宜 47%–62%,视审查员而定。
开发者视角这篇值得做智能体的人逐行读:降本的第一刀不是换便宜模型,而是把提示里会变的部分挪到缓存断点之后。我会先拿 PandaClaws 的生成链路做一次同样的体检,看首个请求的缓存命中率是多少;我在《每月维持三款 AI 产品在线的真实成本清单》里算过,模型费用最容易被结构问题放大。