2026-11-17 · 周二 · 9 条 Hugging Face 把开源模型调用交给 OpenRouter 路由、Claude 文字水印扩到四款老模型、AWS WorkSpaces 让智能体以用户身份登录并留回放
今天没有新模型,主线是智能体和开源模型的「运营层」:路由、缓存、停放和身份审计,Hugging Face、AWS、Google、NVIDIA 各自给出了省钱和可追责的做法。安全这边,Google 说补丁已能被自主框架自动拆成攻击,水印和外部评估则在补「可核验」这一环。对做产品的人来说,成本和责任越来越取决于模型外面那一圈。
-
- Inference Providers 的语言模型请求改走 OpenRouter:按实时价格、速度与可靠性为每次调用挑服务商,首选失败时在同一次调用里换下一家重试;兼容 OpenAI 的 Chat Completions、Responses 与 Anthropic 的 Messages 接口。
- 在模型 id 后加后缀可指定策略或服务商(如 :fastest、:cheapest、:novita);路由感知缓存,在 X-HF-Session-Id 头里为每段对话传一个固定 UUID,可让对话留在持有其提示缓存的服务商。OpenRouter 称新路由让容量错误减少 46%,首 token 时间改善 16.9%,吞吐提升 16.3%。
- 价格不变:按服务商原价记在 Hugging Face 账单上,不加价,PRO 用户每月有 2 美元额度。破坏性变更:语言模型不能再用自己的服务商 API key,图像和视频服务商的自带 key 不受影响。
- 文中引用的数据:开源模型在 OpenRouter 的 token 占比从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%;开源模型平均每百万输入 / 输出 token 0.28 / 1.62 美元,闭源为 1.27 / 6.36 美元。
开发者视角我会把 PandaClaws 里对质量不太敏感的批量改写任务挂到 :cheapest 后缀上,跑一周,按单任务成本和返工率跟现在的闭源模型对比。已经在 Inference Providers 上用自己服务商 key 的团队要先处理计费,这次是破坏性变更;多轮对话记得带上会话 id,不然缓存命中会掉。
-
- 11 月 16 日起,Claude Opus 4.6、Opus 4.5、Sonnet 4.5 与 Haiku 4.5 生成的文本在受支持的平台上带 Anthropic 文字水印;11 月 3 日的更新已覆盖 Claude Mythos 5、Opus 4.7 与 Sonnet 4.6。
- 文档说明:水印不改变输出的含义、质量和可读性,不增加 token 或隐藏字符,也不携带用户或组织的信息;调用方不需要改请求或响应处理。
- 请求里把 temperature、top_p 或 top_k 设为非默认值时,输出可能不带水印;文档提醒框架或客户端库可能替你设置了这些参数,依赖水印的话要检查实际发出的请求体并去掉它们。
开发者视角如果产品要对外承诺生成内容可识别,我会先抓一次 SDK 和框架实际发出去的请求体,很多封装默认就带 temperature。智能面试这类要判断候选人回答是不是 AI 写的场景,也别指望它:水印只覆盖 Claude 的部分模型,换个模型或改个参数就没了。
-
- 搭建时可以把智能体需求描述给 Claude Code、Codex、Kiro 等编码助手,在 AWS MCP 技能引导下按默认配置生成 WorkSpace;基于 Bedrock AgentCore 的智能体可直接用 AWS 凭证接入,不用写智能体代码。新工具让智能体一次调用执行一串操作,并使用其模型已掌握的电脑操作动作。
- 智能体除 SAML 外,现在可通过任何支持 OIDC 的身份提供商登录;开启代为登录(on-behalf-of)后,智能体以已登录用户的身份工作,沿用该用户在目录中的身份、权限和组策略。
- 新增会话回放:把会话截图合成视频,并附上智能体操作的自然语言记录,存放在你自己的 S3 存储桶里,用你自己的密钥加密,供安全团队复查、合规团队取证。
开发者视角让智能体以用户本人的身份、在用户原有权限内操作,再留一份可回放的记录,这是把智能体交给安全和合规团队审的起码配置。我们自己做后台自动化也该按这个顺序:先有身份和回放,再谈放权。
-
- 文中引用对 GitHub Copilot 智能体轨迹的研究:典型多轮会话里智能体约 80% 时间在等用户,每轮平均干活 396.3 秒。按每小时 2 次提示、8 小时工作日的假设,智能体只有 22% 的时间在工作。
- 一会话一 Pod 时,100 个编码智能体需要 34 个节点、每月约 1,288 美元。用 Agent Substrate 在空闲 2 分钟后把 actor 快照到对象存储、释放 worker,15 个节点的预热池加 1 个控制面节点即可,节点账单省 40%;约每 3,500 轮会遇到一次池满,请求等待默认 5 秒后返回 HTTP 503。
- 越忙越不划算:每小时 4 次提示时池要 27 个节点、只省 4%,约 4.5 次以上一会话一 Pod 更便宜;控制面成本固定,约 37 个编码会话起才值得。若 Pod 只请求 0.25 vCPU、上限 1 vCPU 超分,同样 100 个智能体 9 个节点就放得下,代价是互相抢 CPU。
- Agent Substrate 不会自己挂起空闲 actor,需要由你的 harness 在超时后调用 suspend 接口;自动扩缩容跟随 worker Pod 而非挂起的 actor,下班后要用定时任务把池缩到零。
开发者视角和 11-11 那条 NVIDIA 把 Agent Substrate 捐给 CNCF 连起来看,这是第一份能直接套用的账:先量自己的提示频率再选方案,每小时不到 4 次的会话适合停放,更活跃的直接一会话一 Pod 或超分。PandaClaws 的后台任务大多间歇触发,我会先打点统计会话的实际忙闲比。
-
- 隐式缓存按尽力而为的方式自动复用符合条件的前缀;显式缓存用断点标出可复用前缀,可设多个断点(不超过模型上限),分层缓存变化频率不同的内容。最小前缀长度、断点上限和 TTL 见各模型卡,TTL 每次命中重置。
- 缓存读取按低于标准输入的费率计费;视模型而定,缓存写入可能比标准输入贵。前缀之后的内容每次都变时,建议用显式缓存,避免为永远不会被读回的内容付写入费。
- 示例中 OpenCode 编码智能体在同一接口上用隐式缓存、无需任何配置,后续每个请求都从缓存读取上一个请求为止的全部内容;跨区域推理在高峰期可能产生额外的缓存写入。
开发者视角AI 云盘的文档问答是典型的「固定长前缀 + 每次不同的问题」,适合显式断点;智能体循环用隐式就够。上线前按文中建议看响应里的 cached_tokens 字段确认真的命中,别只看月底账单猜。
-
- Endpoints v1.0 通过 API 端点、用编码和企业工作流衡量服务容量与响应速度的平衡;运行时会把生成的工具调用和工作流意图与参考值比对,另用 SWE-bench Verified 评估端到端解题能力。
- 在 Kimi K3、DeepSeek-V4.1-Flash 与 Qwen3.6-35B-A3B 上,Vera Rubin NVL72 每千瓦吞吐是 GB300 NVL72 的 5 到 10 倍,相同并发下端到端交互速度高 3 到 5 倍;Kimi K3 在每用户至少 50 token/秒的门槛下每千瓦吞吐超过 10 倍。
- Vera Rubin 的成绩是暂定的,尚待 MLCommons 核验;GB300 的成绩已核验。
- NVIDIA 把提升归于前缀缓存、状态复用、Dynamo 路由与预填充 / 解码分离,以及 DeepSeek 的 MegaMoE 内核、Qwen 的多 token 预测等针对模型的优化。
开发者视角对不自建机房的团队,这条说明托管开源模型的单价还有下降空间,但成绩是暂定的,我不会据此提前锁长期合同。更现实的是文中那几招,和今天 Hugging Face、Bedrock 两条讲的是同一件事:智能体负载的成本大头在重复的上下文,先把缓存和会话粘性做好。
-
- 据 GTIG 最新一期 AI Threat Tracker 报告,攻击者在用自主 LLM 框架持续扫描软件更新,判断修补了哪个漏洞并为其构造攻击,全程无人参与。
- Google 的应对是 Google AI Threat Defense:结合 Gemini 等前沿模型、Wiz 的上下文与优先级排序、CodeMender 的自动修补以及 Mandiant 的经验,持续发现并修复漏洞。
开发者视角和 11-14 那条 Cloudflare 说 AI 渗透测试编排器的请求自 10 月 1 日以来涨了 30 倍连起来看,补丁一发布就会被自动拆解。我会把依赖升级从「每月一批」改成安全补丁当天合并,先从对外暴露的服务开始。
-
- OpenAI 宣布开始第一阶段嵌入式评估,合作方为 Apollo Research、METR、Transluce 与 Goodfire。
- 评估范围是独立评估 OpenAI 的模型对齐、防护措施与监控系统。
开发者视角目前只有名单和范围,还没有能直接用的结论。我会等第一批报告出来,对照自己产品里在用的 OpenAI 模型,看监控和防护有哪些已知短板,再决定哪些环节要自己补一层审核。
-
- 在 Gemini Notebook 对话里输入「make me a site」并描述用途即可生成,官方举例包括交互式元素周期表、历史时间线等讲解页,季度销售数据看板,以及列出任务和截止日期的项目追踪页。
- 生成后可在新标签页打开交互或分享给他人;即日起面向 18 岁以上的 Gemini Notebook 用户(含 Google Workspace 订阅用户)在网页端全球推出,移动端稍后上线。
开发者视角从资料直接生成可交互页面,正在变成笔记类产品的标配。AI 云盘已经有文件理解,下一步可以试「把这个文件夹做成一页看板」,先在内部拿自己的周报文件验证,看有没有人真的反复打开。
本期由 AI 辅助检索与起草,选题标准与观点由 Darius 设定。
每周一,一封邮件看完 AI 大事
每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。
邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →