Airbnb 公开编码智能体的选模方法:约五周出了 8 个新模型,按「单任务成本」定默认模型与推理力度上限
一家大公司内部编码智能体的真实运营做法:上线前用自有任务测分数和单任务成本,上线后用生产数据回头校验。适合要给团队管模型选型和账单的人。
// 要点
- Airbnb 每周有数千名工程师及相关人员用内部工具 AirChat 跑编码智能体,请求经过跑在 Amazon Bedrock 上的模型网关。
- 约五周内出了 8 个新模型;到 10 月中,约三分之二的编码智能体请求已转向这些新模型。
- 某个模型推理力度从 low 调到 high,分数只升 0.8 分,单任务成本却是 2.5 倍;网关据此强制执行每个模型的力度上限。
- 有个新模型在同一套任务和评分器上分数更高,单任务成本只有原模型的约六分之一,团队靠改一条配置就把用户迁了过去。
开发者视角这篇和昨天 GitHub 那几条连起来看是同一个结论:模型换得太快,只有「自己的任务 + 单任务成本」这把尺子靠得住。我会照抄它的两件事:新模型发布当天就在自有任务上按每个力度档跑一遍;在网关上设力度上限,默认 low 或 medium。0.8 分换 2.5 倍成本,大多数日常改动不值得。