工具 #编码智能体 2026-11-14 · 原文发布 11-13

AWS 示范用 NVIDIA NeMo Switchyard 给编码智能体路由模型,以「每个解决任务的成本」作为评判标准

编码智能体按任务付费,不按调用付费。这一条讲开源路由库 Switchyard 的两种策略,以及在 Bedrock 上做对比实验的样例。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 评价路由的指标是每个解决任务的成本:所有运行的总花费除以测试通过的运行数,失败和未完成的尝试同样计费。
  • Switchyard 的 LiteLLM 集成有两种策略:stage 读取请求历史中最近的工具调用与结果,在两个候选模型中选一个,因此智能体必须发送完整对话历史;random 按权重随机选择,用于分流和 A/B 对比;两者都不调用评审模型。
  • 样例用 AWS CDK 把 LiteLLM 加 Switchyard 插件部署在 ECS Fargate 私有子网,前置 ALB 与 WAF;使用的 switchyard-server 0.3.0 被 NVIDIA 标为演示与评估组件,官方提示不要用于生产。

开发者视角和前天 Hydrogen 的 Orchestrator 是同一个方向:按任务难度换模型。Switchyard 还只是演示组件,我不会直接上生产,但它的评测方法值得马上用起来:拿自己的 20 个真实任务,分别测单模型和路由组合的「每个解决任务的成本」,比只看每百万 token 单价靠谱得多。

// 来龙去脉 · 来自 #编码智能体 专题

看完整时间线 →
  1. 11-14 GitHub Copilot 12 月 14 日下线 6 个模型:Fable 5、Gemini 4 Argon、Grok 4.6 等各有建议替代
  2. 11-13 Google 发布 Gemini 4 Hydrogen:每百万 token 输入 1.50 美元、输出 7.50 美元,Artificial Analysis 智能指数 51,略高于 Argon 的 50
  3. 11-13 Google 用 Gemini 4 Argon 加 Z3 约束求解器找 Go 越界崩溃:3 个预埋 bug 全部找到,另发现 3 个潜伏 bug,模糊测试漏掉其中 2 个

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →