2026-10-20 · 周二 · 10 条 Cloudflare 公开 AI 代码审查降本 68% 的账单、AWS 给 vLLM 贡献双向 KV 传输、Copilot 下线 GPT-5.5 等 6 个模型
今天没有新的前沿模型，主线是「同样的智能体，怎么跑得更便宜更快」：Cloudflare 靠缓存结构把审查成本砍掉三分之二，AWS 让多轮对话不再重算历史，Cloudflare 的 Clairic 把填字段从生成里拆出去。对做产品的人，下一步该看的是账单结构，而不是换哪个模型。
-
- 单次审查平均成本从 2.43 美元降到 0.77 美元；中位耗时从 4 分 09 秒降到 1 分 32 秒，P99 从 15 分 20 秒降到 4 分 41 秒。
- 最大的一处改动是挪动提示缓存断点，让不同仓库共享同一段前缀：首个请求的缓存读取占比从 14%–26% 升到 91%–99.5%。
- 每次审查的 token 数从 0.91M 涨到 2.99M，成本仍然下降；约 40% 的节省来自审查员代码改动，其余来自模型与推理强度的调整。
- 在单价相同的情况下，Sonnet 5.5 每次运行比 Sonnet 5 便宜 47%–62%，视审查员而定。
开发者视角这篇值得做智能体的人逐行读：降本的第一刀不是换便宜模型，而是把提示里会变的部分挪到缓存断点之后。我会先拿 PandaClaws 的生成链路做一次同样的体检，看首个请求的缓存命中率是多少；我在《每月维持三款 AI 产品在线的真实成本清单》里算过，模型费用最容易被结构问题放大。
-
- Clairic 从非结构化输入中抽取、计算、估计或预测类型化的值，单次前向计算完成，不生成推理或输出 token，只对输入 token 计费。
- 以 @cf/cloudflare/clairic 在 Workers AI 预览，可在 Worker 中或通过 REST API 调用；官方表示计划很快开放权重，参数量未公布。
- 官方测试的理赔流水线中，Clairic 加一个决策步骤再接 GLM-5.3，与只用 GLM-5.3 相比，端到端耗时 19.3 秒对 61.7 秒，每百万份理赔成本 6,032 美元对 11,740 美元。
- 在 21 天的 TSA 客流预测里，平均误差 3.3%，21 天中有 17 天实际值落在 80% 区间内。
开发者视角这和 10-06 OpenAI 的 Decisions API 是同一个方向：把「填字段」从生成模型里拆出去。AI 云盘给上传文件抽日期、金额、合同方这类元数据，正是这种场景；我会拿几百份真实文件对比 Clairic 和现在的大模型方案，看字段准确率，权重放出来之前先别把它放进主链路。
-
- 问题：多轮智能体对话每轮都重发全部历史，单向的预填充到解码传输下，预填充节点无法复用解码节点为之前回复生成的 KV，只能重算，首 token 延迟随对话变长而上升。
- AWS 在 Trainium 上开发验证后，把它作为与加速器无关的能力贡献给 vLLM；需要 vLLM v0.21.0 及以上和 NixlConnector，并在预填充、解码两端开启 bidirectional_kv_xfer，仍需一个感知 KV 缓存的路由。
- 在 P5en 上一个预填充、一个解码节点的测试中，Qwen3-32B 在 24k 提示下首 token 延迟从 778 毫秒降到 460 毫秒；GLM-5-FP8 在 20k 下从 2,334 毫秒降到 702 毫秒，官方称长提示下最多降低 3.3 倍。
- 额外的 KV 传输开销约 30 到 130 毫秒，远小于省下的重算时间。
开发者视角自建推理做智能体的，这是今年最实在的延迟优化之一：智能体对话天然是长历史、多轮次，重算历史正是首 token 慢的主因。前提是已经做了预填充和解码分离；还没分离的团队先别为它改架构，先把会话粘到同一节点、开好前缀缓存，收益更便宜。
-
- TorchNeuron 是 PyTorch 插件，把 neuron 作为原生设备，支持 eager 模式、torch.compile 以及 FSDP、张量并行等分布式接口。
- Transformers、Diffusers、Accelerate、PEFT、TRL 可直接在 Trainium 上运行，推理时传 device_map="neuron" 即可；官方建议改用这些库，而不是 Optimum Neuron。
- 最常用的前 100 个文本生成架构中 89% 开箱可用，Optimum Neuron v0.4.5 时是 46%。
- 10 月 20 日进入公开测试，用 pip install torch-neuronx 安装。
开发者视角在 AWS 上微调或自托管开源模型的团队，可以把 Trainium 重新放回候选：以前卡在要改模型代码，现在门槛降到改 device。我的做法是先挑一个已经在 GPU 上跑通的推理服务，原样迁过去比每百万 token 成本；还是公开测试，别把训练任务第一个搬过去。
-
- 新增 GET 与 PATCH 接口，读取和更新 Copilot 模型策略，正式可用。
- 覆盖四个层级：企业、企业团队、企业应用和组织，例如 /enterprises/{enterprise}/copilot/model-policies 与 /orgs/{org}/copilot/model-policies。
- 企业策略可以把模型控制权下放给组织（组织模式），或下放给团队和应用（企业团队模式）。
开发者视角模型更替已经按月来了，同一天 Copilot 就下线了一批旧模型，靠管理员手工开关迟早漏。我会把模型白名单写进配置仓库，用这个接口定期同步，并让新模型先只对一个试点团队开放。
-
- 自 10 月 19 日起，以下模型在 Copilot Chat、内联编辑、ask 与 agent 模式、代码补全等大多数体验中下线。
- GPT-5.5、GPT-5.4 建议改用 GPT-6.1 Sol；GPT-5.4 mini、GPT-5 mini 改用 GPT-6 Luna；Gemini 3.7 Flash 改用 Gemini 3.8 Flash；Grok 4.5 改用 Grok 4.7。
- Copilot Enterprise 管理员可能需要在模型策略里启用替代模型；旧模型会自动移除，无需操作。
开发者视角加上 10-16 那条 11 月中旬的下线预告，一个月内 Copilot 换了两批模型。脚本或扩展里写死模型名的，今天就该查一遍；更稳的做法是只写「档位」（强 / 快），模型名放到一处配置里。
-
- 在异常流量期间，GitHub 可能对部分公开仓库的 HTTPS 克隆和 fetch 临时要求认证，失败时会提示需要认证；这是临时措施，不是对公开仓库的普遍要求。
- 已认证的 HTTPS 操作、SSH、push 以及其他网页和 API 流量不受影响。
- 建议自动化场景配置认证：GitHub Actions 用内置的 GITHUB_TOKEN，其他 CI 优先用 GitHub App 安装令牌，也可用个人访问令牌。
开发者视角编码智能体在沙箱里一上来就 git clone 依赖仓库，正是这条会打到的流量。我会给所有自动化克隆统一配一个只读的 GitHub App 令牌，再在智能体的工具层加一次带退避的重试，别让一次临时限流变成整轮任务失败。
-
- OpenAI 发布文章，介绍如何改进 ChatGPT 在低资源编程语言上的表现。
- 文章给出三类新评测：软件工程、SQLite 与 COBOL 迁移。
开发者视角对接老系统的团队可以关注：COBOL 迁移进了官方评测，说明模型厂商开始把它当正经场景。我的建议是别等榜单，拿一段自己的存量代码做「翻译 + 跑原有测试」的小实验，测试通过率比任何评测分都说明问题。
-
- 在对话中要求生成幻灯片或视频概览时，Notebook 会根据资料建议主题，确认后可以细化内容并选择视觉风格和格式。
- 打开 Review 开关后，可在工作室面板查看幻灯片的大纲笔记或视频的制作笔记，提出补充摘要、调整场景顺序等反馈，点「Proceed」后才开始渲染。
- 提示词已经写清需求时直接进入审阅流程；也可以关掉开关，像以前一样直接生成。
- 未来一周内向所有 Gemini Notebook 用户全球推送。
开发者视角生成越贵越慢的产物（视频、长文、整套幻灯片），越该在渲染前插一个便宜的确认点。PandaClaws 的长内容生成我也打算这样改：先出提纲给人点头再生成正文；具体怎么设计确认环节，我在《智能体系统设计 checklist：人机协作确认环节怎么做》里写过。
-
- 德国总理默茨与经济和能源部、研究技术和航天部在 Invest in Germany 峰会上与 NVIDIA 签署联合意向声明，联合推进物理 AI 模型，并把 NVIDIA 与政府「工业 4.0 平台」的合作正式化。
- NVIDIA 在欧洲对企业、高校和研究机构的投入承诺接近 100 亿美元，并计划投资 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德国初创公司，金额未披露。
- 西门子在埃尔朗根工厂展示与 NVIDIA 的合作：全虚拟的产线爬坡最多减少 85% 工程工作量，基于智能体的生产计划最多节省 20% 成本。
- GTC Berlin 主题演讲定于 10 月 21 日。
开发者视角对大多数做软件产品的人，这条的意义在于方向而不是订单：欧洲的 AI 钱正往工厂和机器人流，智能体最先在「生产计划」这种有明确成本指标的环节拿到数字。做 ToB 的可以学这个叙事，先找一个能用成本百分比衡量的环节落地；明天（10 月 21 日）的 GTC Berlin 值得看有没有面向开发者的新东西。
本期由 AI 辅助检索与起草，选题标准与观点由 Darius 设定。