2026-10-21 · 周三 · 10 条 OpenAI 上线 12 小时提示缓存、Mistral 发布 Voxtral 3 语音智能体套件、GitHub 包防火墙拦截恶意 npm 包
今天的主线是「智能体落地的基础设施」：缓存寿命拉长到 12 小时，语音从转写到说话打包成一条管线，同时装包和推理前都多了一道企业自己的闸门。对做产品的人，值得做的是重算缓存账、给智能体装包设防，而不是追新模型。
-
- Responses API 可以选择 12 小时缓存，让共享的指令、工具和上下文缓存更久，即使请求相隔数小时也能享受更低的缓存输入价。
- 12 小时缓存写入按输入 token 价格的 2.5 倍计费；默认的 30 分钟缓存写入是 1.25 倍。
- 同一请求可以同时设置 12 小时和 30 分钟两个断点；把已有的 30 分钟缓存升级到 12 小时，要重新按 12 小时写入计费，之前的写入不抵扣。
开发者视角这正好接上昨天 Cloudflare 那条：降本先看缓存结构。我会把 PandaClaws 里每天反复用、但请求间隔超过半小时的系统提示单独挑出来，放在 12 小时断点前，会话内容仍留在 30 分钟断点；先按自己的调用间隔算一下，一段前缀一天至少要被复用几次，2.5 倍的写入价才划算。
-
- 转写模型 Voxtral Small Transcribe 3 支持 50 多种语言，带说话人分离、关键词偏置与说话结束检测；官方称优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。
- Mini 版转写模型为 4B 参数，价格 0.0035 美元 / 分钟；实时转写模型 Voxtral Realtime Transcribe 3 在 35 种以上语言里延迟低于 500 毫秒。
- TTS 模型 Voxtral Mini TTS 3.0 支持 35 种以上语言、50 多种方言，价格 13 美元 / 百万字符；Pro Voice 用约 30 分钟音频复刻说话人的风格。
- 新的语音智能体 SDK 把听、推理、工具调用和说话放进一条实时流式管线。
开发者视角对智能面试这类以语音为主的产品，我最关心的是说话结束检测和可私有部署：打断判断不准，面试体验会很差，而候选人的录音最好不出自己的环境。我会先拿一批真实面试录音对比现有转写的中文错误率和端到端延迟，再决定换不换。
-
- 包防火墙同时检查包元数据请求和包下载，面向所有 GitHub Enterprise Cloud 客户（含数据驻留版）公开预览。
- 管理员可设置冷却期、查询 GitHub Advisory Database 的恶意软件与漏洞告警，以及证明降级等供应链检查；误拦可走例外申请流程。
- 需要把编码智能体和 CI 主机配置为经由防火墙请求，而不是直连上游仓库。
- 预览期免费，正式可用后按用量计费，方式类似 Actions；目前只支持 npm 包。
开发者视角编码智能体会自己装依赖，而它跑在带密钥的环境里，这是最容易被忽视的口子。就算不用 GitHub 企业版，我也建议先做到两件事：给 npm 装包设一个冷却期，不装刚发布几小时的版本；智能体跑装包时不注入生产凭据。
-
- 早期基准：在相同类型检查 worker 数下，tsrs 比 TypeScript 7.0 快最多 8 倍，内存少约 70%；TypeScript 7.1 beta 比 7.0 快最多 2.5 倍，部分优化来自 tsrs 回馈。
- 作为 Oxc 工具链的一部分孵化，可通过 npm 安装 tsrs 试用实验版本；目前与上游仍有差异，如诊断信息的输出顺序。
- Cloudflare 称前沿 AI 模型已能在几天内几乎独立完成大规模移植，这是现在启动的原因之一。
- 维护方式沿用 Vinext：每天由智能体审查上游改动并开跟踪 issue，每晚跑上游测试套件生成兼容矩阵。
开发者视角对我来说更值得学的是它的维护方法：智能体每天追上游、每晚跑兼容矩阵，这是让 AI 移植不烂尾的关键。tsrs 本身还是实验版，我会先在 CI 里和 tsc 并行跑一个大仓库，对比耗时和诊断结果，不会替换正式的类型检查。
-
- 10 月 20 日起，Inference hooks 对 Claude Enterprise 组织结束 beta。
- 把 Claude 指向组织的 AI 安全服务器后，claude.ai、Cowork 和 Claude Code 中每条受管提示都会先等待该服务器给出允许或拒绝，再进行推理。
- 文档提供配置指南和集成端点开发说明。
开发者视角和 10-15 的 Compliance API 连起来看，Anthropic 在把企业管控从「事后审计」推到「事前拦截」。如果你给企业客户做 AI 安全网关，这是现成的接入点；自己接的话，先想好服务器超时或挂掉时是放行还是拒绝，这个默认值比规则本身更重要。
-
- 在模型可用的地区，bedrock-runtime 与 bedrock-mantle 两个端点都支持全部 Anthropic Claude 模型的结构化输出。
- 两种机制：JSON Schema 输出格式控制回复结构，严格工具调用按 schema 校验工具参数。
- 支持批量推理；在 bedrock-runtime 上还支持跨区域推理，并能以类型化事件流式返回。
- 只输出 schema 定义的字段，可减少输出 token，降低大批量场景的推理成本。
开发者视角走 Bedrock 的团队终于能删掉那层「解析失败就重试」的胶水代码了。AI 云盘的文件元数据抽取正是这种场景，我会先把 schema 收紧到只留必需字段，再对比输出 token 和失败率；但约束解码只保证格式，不保证内容对，抽样校验不能省。
-
- MoE 模型解码比 2.14 快 5–6.5 倍：在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 从 9.4 升到 61.3 token/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 token/s。
- FP8 来到 MPS，float8_e4m3fn 占用为 BF16 的一半；词表上的 softmax 快约 8 倍。
- Wan2.2 视频 VAE 解码的显存峰值从 270 GiB 降到 8 GiB。
- MPS 现在要求 macOS 15 及以上，PyTorch 2.15 要求 Python 3.11 及以上。
开发者视角61 token/s 的 35B MoE 已经够做本地开发和离线批处理了。我会把一部分内部评测脚本挪到 Mac 上用 MoE 模型先跑一遍，省掉为小实验开 GPU 机器；升级前先确认机器是 macOS 15、Python 3.11 以上。
-
- TorchTPU 是 PyTorch 的原生 TPU 后端，自带为 TPU 调优的 Pallas 内核、分布式训练支持和 torch.compile 集成。
- Transformers 中传入 device_map="tpu" 即可把模型直接加载到 TPU；默认 eager 模式，也可用 torch.compile 提速。
- Diffusers 把 TPU 作为一等设备，超出单芯片的模型可通过 TensorParallelConfig 在加载时分片到多块芯片。
- 有了原生支持，运行 Transformers 和 Diffusers 不再需要 Optimum TPU。
开发者视角和昨天的 TorchNeuron 连起来看，这周 PyTorch 接连拿下了 Trainium 和 TPU 两块非 GPU 加速器。对做产品的人，推理不再只能比 GPU 报价；我的建议还是先拿一个已经在跑的推理服务原样迁过去，比单位成本，而不是为了新硬件改代码。
-
- 用较老的非推理模型 GPT-4.1 和 τ²-bench 自带的 ReAct 框架，零售域 Pass^4（四次独立尝试全对）从 57.5% 升到 67.5%，高于 10 月 12 日榜单快照里的所有零售条目。
- 零售域平均准确率从 78.1% 升到 82.5%；航空域从 57.5% 升到 65.0%。
- 规则数量要按领域调：零售用全部 292 条最好；航空只保留 14 条高支持度规则时 Pass^4 最高，为 45%，全部 101 条时为 40%。
- 规则提炼和智能体使用同一个模型，不需要更新权重或人工标注。
开发者视角这和我在《在智能体系统中设计回退机制与人工确认：一份实践清单》里的思路一致：先把失败案例变成明确规则，比换更贵的模型划算。我会给每个上线的智能体留一份失败记录，定期提炼成规则写回提示，同时盯住 Pass^4 这类「每次都对」的指标，而不只看平均分。
-
- 包含 300 个现实的双候选决策场景，覆盖招聘、医疗、贷款、教育、住房和刑事司法等 29 个领域。
- 身份信息从不提供、用带族群色彩的名字、间接暗示到明确标注分级变化；再加上诉诸权威、社会共识、历史弱势等「对抗性前缀」，每条都有支持另一位候选人的对照版本。
- 在 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列等模型及多个训练阶段上，同样的说服话术会因所支持的人群不同，让模型更容易或更难改判。
- 基准可下载，并会接入 Ai2 的开放评测工具 Olmo-eval。
开发者视角这条直接关系到智能面试：简历筛选里，候选人或招聘方附带的一句「领导推荐」就可能左右模型。我会把 FairStress 里招聘场景的做法搬到自己的评测集：同一份简历换名字、加对抗性前缀，看结论是否稳定，并且让模型只输出依据岗位要求的打分，不让它自由改判。
本期由 AI 辅助检索与起草，选题标准与观点由 Darius 设定。