Ai2 发布 FairStress：300 个双候选决策场景、29 个领域，测模型在被说服时是否因人群不同而改判
只看最终选择是否一致会掩盖偏差；FairStress 测的是同样的说服话术，对不同人群起的作用是否一样。
// 要点
- 包含 300 个现实的双候选决策场景，覆盖招聘、医疗、贷款、教育、住房和刑事司法等 29 个领域。
- 身份信息从不提供、用带族群色彩的名字、间接暗示到明确标注分级变化；再加上诉诸权威、社会共识、历史弱势等「对抗性前缀」，每条都有支持另一位候选人的对照版本。
- 在 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列等模型及多个训练阶段上，同样的说服话术会因所支持的人群不同，让模型更容易或更难改判。
- 基准可下载，并会接入 Ai2 的开放评测工具 Olmo-eval。
开发者视角这条直接关系到智能面试：简历筛选里，候选人或招聘方附带的一句「领导推荐」就可能左右模型。我会把 FairStress 里招聘场景的做法搬到自己的评测集：同一份简历换名字、加对抗性前缀，看结论是否稳定，并且让模型只输出依据岗位要求的打分，不让它自由改判。