OpenAI 发布药物化学基准 MedChemBench:99 道题取自 117 篇论文与专利,GPT-6.2 Astra 拿到 84.5% 的分数
测的是模型能否把分子结构和实验证据连起来,决定下一步测哪个化合物。这一条讲它怎么评分、各代模型差多少。
// 要点
- 共 99 道题,取自 117 篇论文与专利,包含 761 个不同分子结构;评四项:分子结构重建、科学推理、排序与选择、性质预测。
- xhigh 推理档下,GPT-6.2 Astra 得分 84.5%,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,GPT-5.6 Sol 58.2%。
- 保留 18 元环的分子重建题上,GPT-6 Astra 十次全对,GPT-5.6 Sol 与 GPT-5.6 Luna 十次全错。
开发者视角对大多数产品团队,这条的意义不在制药,而在「垂直基准」的做法:取材于真实决策场景、按部分得分、把结构错误单独拎出来。6.x 各代之间只差两三分,换代收益在这类专业任务上已经变小。做垂直产品的,值得照这个形态做一套自己的小基准。