NVIDIA 演示用 NeMo 把智能体轨迹变成测试和 harness 修复:一个例子里留出集通过数从 4/6 升到 6/6,工具调用从 28 次降到 15 次
把多数智能体团队手工在做的循环写成了流程:在轨迹里找到坏行为、为它写评测、改提示词、在没见过的任务上验证。
// 要点
- NeMo Compass 对照描述期望行为的 ETHOS.md,分析了某企业助手的 42 条轨迹,发现它会在用户未确认时直接发消息
- NeMo Eval Author 生成了 4 个 Harbor 评测,其中一个在未经人工确认就调用 send_message 时判失败;随后由编码智能体修改系统提示词
- 开发任务通过数从 3/6 升到 6/6(工具调用 10 次降到 6 次);留出任务从 4/6 升到 6/6(28 次降到 15 次)
- 达索系统的例子里,约 12 小时的夜间运行把格式错误的工具调用从 142 次降到 0,每次运行的工具调用减少 35%
开发者视角这是在 11-02 那条 NemoClaw 蓝图上的延续,值钱的是方法而不是厂商:每条坏轨迹先变成回归评测,再动提示词。PandaClaws 我会先把「未经确认不得发布」这一条写成校验器,之后才允许智能体改提示词。