AWS 公开内部销售智能体的评估闭环：三个月把通过率从 93% 提到 96%，每万次回答的纯幻觉从 138 次降到 52 次以下
一份来自真实生产系统的智能体质量工程案例，数字和失败案例都很具体。
// 要点
- 系统基于 Amazon Bedrock AgentCore，销售人员在 Amazon Quick 里用自然语言提问，背后由客户洞察、业绩洞察、文本转 SQL 等子智能体协作。
- 上线前评估发现，客户洞察智能体把客户三个月 410.08 美元的收入报成了「410.08 Million」。
- 一次预生产测试中，数据、工具和提示词改动没有同时上线造成的错配窗口，让通过率从 78% 跌到 38%。
- 发布门禁基于 200 个问题：总分低于该版本上次运行、没超过生产基线，或低于单题阈值的比例超限，三者任一即自动拦截。
开发者视角「410.08 美元报成 410.08 百万」这种错误最可怕：语气笃定、格式漂亮，人工抽查很难发现。我会照它的做法给 AI 云盘的数据驾驶舱问答建一套固定题集，每次改提示词或数据管道都跑一遍再发布；数据、工具和提示词的改动要一起上线，不然中间那段错配期就是事故窗口。