CWE-bench v2 公开 100 道覆盖 91 类 CWE 的漏洞修复题：Gemini 4 Argon 以 67.8% pass@1 领先，Claude Opus 5.5 为 67.3%，DeepSeek V4.1 Flash 每次 0.04 美元做到 57.0%
一个可复现的测试：编码智能体能否在不破坏原有功能的前提下找到并修好真实的安全缺陷，分数旁边还给了成本。
// 要点
- 智能体拿到一个真实开源仓库的代码和一句简短指令，要找到并修复安全缺陷，同时不破坏原有功能；完全程序化评分，另保留一个不公开的测试集
- 11 个模型中，Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先，Claude Opus 5.5 为 67.3% 和 78.0%；即便第一名也有 19% 的题每次都失败
- 成本上，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：每次 0.04 美元做到 57.0% pass@1，Opus 每次 1.83 美元高出约 10 个点，Gemini 每次 3.92 美元略高一点
- 95 道题至少被一个模型解出；公开题集、评分器和 harness 都已开放，题目还标注为可用于训练防御型智能体的 RL 环境
开发者视角最有用的是成本那一列：便宜的开放模型已经能做到大半，CI 里可以做两层安全检查，每个 PR 先用便宜模型扫一遍，标出来的再交给前沿模型。不管用哪个模型，都沿用这个基准的标准：智能体的修复必须让原有测试照常通过，安全补丁由人签字。