AWS AppConfig 新增 AI 模型调用和提示词两类配置:不重新部署就能改模型与提示词,按流量比例灰度并在告警时自动回滚
换模型、改提示词是 AI 应用最频繁、也最容易出事的变更。这一条讲 AppConfig 怎么把它纳入灰度发布,适合已经上线 AI 功能的团队。
// 要点
- AI 模型调用配置保存模型标识、temperature 和最大 token 等推理参数,以及系统提示词和示例对话;服务商特有选项放在自定义参数里,同一套 schema 可跨服务商使用。
- AI 提示词配置把提示词作为独立版本化的对象,可单独修改并在多个应用间复用。
- 变更可按比例逐步放量(例如 10%、20%、30%),CloudWatch、Datadog、New Relic 等告警触发时自动回滚;在所有提供 AppConfig 的区域可用,不额外收费。
开发者视角把提示词当配置、按流量灰度,这件事很多团队靠自己写开关在做,现在有了现成的。我的建议是:不用 AWS 也该照这个结构来,模型参数和提示词分开版本化,每次改动都绑一个 token 用量和成功率的告警,出问题能按版本回退,而不是重新发版。