Google 用 5 个外部基准测 Agent Anomaly Detection:智能体实际执行的有害指令标出 87%,被投毒的长期记忆只抓到 18 例中的 4 例
Google 把自家智能体异常检测拿到非自己写的公开基准上跑,结果包括强项、误报率和明确的短板。
// 要点
- 测试用 AgentDojo、InjecAgent、Agent Security Bench、AgentDyn、AgentHarm 五个公开基准,共 1,774 个会话;智能体用 ADK 搭建、模型为 gemini-2.5-flash,由基准自带的确定性代码判定结果。
- 智能体读到并执行的有害指令,被标记了 87%;按基准分别为 AgentDojo 85%、InjecAgent 87%、AgentDyn 99%、AgentHarm 81%。
- 办公类良性会话的误报率为 2% 到 4%,AgentHarm 上为 16%,原因是其良性任务也会发社交帖、跑终端命令、下载文件。
- 最大短板是记忆投毒:长期记忆中植入的指令让智能体行动时,只抓到 18 例中的 4 例。
开发者视角厂商用别人的基准、连短板一起公布,这种评测方式值得照学。对做产品的人,结论是事后检测能兜住大部分注入,但长期记忆是盲区:PandaClaws 这类会记住用户偏好的智能体,写入记忆前要单独做一道校验,并保留可追溯的写入来源。