AWS 公开 Amazon Connect Talent 的结构化 AI 面试评估:评分与独立专家判断一致率 89.3%,只看首轮回答的分数最多低 1.14 分
AI 面试最常被问的是「凭什么信这个分数」。这一条讲 AWS 的设计原则和独立评估数据,适合在做面试或测评产品的团队。
// 要点
- AI 面试官只收集证据、不打分;面试后由独立的评估流程按固定公式评分,证据不足时标记该能力项而不给分,缺证据不自动算作扣分。
- 评分只用转写文本,不使用视频、语调或外貌,排除候选人身份信息,各能力项分开评估。
- 独立 I-O 心理学机构评估:91% 的能力项可追溯到岗位描述,98% 的问题对准了目标能力;评分与专家决定的一致率为 89.3%,候选人证据清晰时达 97.6%。
- 初步评估中,只基于首轮回答的分数比基于完整对话(含追问)的分数在五分制上最多低 1.14 分。
开发者视角这条和我的智能面试产品直接相关。我最认同的是「面试官不打分、评分员不聊天」的拆分,以及证据不足时宁可标记也不给分:这两条都直接针对同一候选人多次评分不一致的问题,我在博客《Why Interview Scores Vary Run to Run》里也讨论过这类波动。我的建议是,做面试产品的团队先补一组「首轮回答 vs 完整对话」的对比评测,追问到底值多少分,自己的数据说了算。