Ai2 测试大模型判断研究想法新颖性：只改提示词措辞，GPT-5.4 的准确率从 93.5% 跌到 40.9%
一项关于「让模型当评委」有多脆弱的研究，附基准、数据和代码。
// 要点
- 数据取自 ICLR 2026 评审：154 个高新颖性与 145 个低新颖性的人写想法，另把 154 个高新颖性想法与 154 个简单 LLM 生成的想法配对。
- 在人写对生成的配对上，仅改动提示词措辞就让 GPT-5.4 的准确率从 93.5% 降到 40.9%，低于随机；在纯人写集合上，Claude Opus 4.6 的波动达 21 个百分点。
- 一个简单基线（Claude Opus 4.6、低推理强度、三次调用多数投票）macro-F1 为 0.854，成本 2.59 美元；Idea Novelty Checker 为 0.642、30.66 美元，Sakana AI Scientist 的评估器为 0.772、82.05 美元。
- 基准、数据（allenai/novelty-judge-bench）与代码（allenai/novelty-eval）已公开，文中未写明许可证。
开发者视角这对所有「让模型打分」的产品都是提醒：智能面试的评分、内容质量的自动审核，提示词换个说法分数就可能大变。我的做法是把评分提示词当代码管，改一个字都要在固定的人工标注集上重跑；多次调用投票这种便宜办法，往往比复杂的智能体评审更稳更省。