AWS 示范用 NVIDIA NeMo Switchyard 给编码智能体路由模型,以「每个解决任务的成本」作为评判标准
编码智能体按任务付费,不按调用付费。这一条讲开源路由库 Switchyard 的两种策略,以及在 Bedrock 上做对比实验的样例。
// 要点
- 评价路由的指标是每个解决任务的成本:所有运行的总花费除以测试通过的运行数,失败和未完成的尝试同样计费。
- Switchyard 的 LiteLLM 集成有两种策略:stage 读取请求历史中最近的工具调用与结果,在两个候选模型中选一个,因此智能体必须发送完整对话历史;random 按权重随机选择,用于分流和 A/B 对比;两者都不调用评审模型。
- 样例用 AWS CDK 把 LiteLLM 加 Switchyard 插件部署在 ECS Fargate 私有子网,前置 ALB 与 WAF;使用的 switchyard-server 0.3.0 被 NVIDIA 标为演示与评估组件,官方提示不要用于生产。
开发者视角和前天 Hydrogen 的 Orchestrator 是同一个方向:按任务难度换模型。Switchyard 还只是演示组件,我不会直接上生产,但它的评测方法值得马上用起来:拿自己的 20 个真实任务,分别测单模型和路由组合的「每个解决任务的成本」,比只看每百万 token 单价靠谱得多。