Microsoft 开源 ThinkingBox-Training：用数据库最终状态作奖励，50 步 GRPO 让 Qwen3.8-27B 平均成功率从 51.70% 升到 60.78%
评测智能体时「看它留下了什么」，现在被直接拿来当训练奖励。这一条讲做法和代价。
// 要点
- ThinkingBox-Bench 的 507 个任务各启动一个真实后端，给智能体一组 MCP 工具和一个带私有上下文的模拟用户，结束时对数据库最终状态跑可执行检查，检查的是记录对不对，而不是调用了哪些工具。
- 团队用基准之外的同类任务做训练池，并按基座模型事先估出的成功率挑出「对当前模型不算太难也不算太易」的任务。
- Qwen3.8-27B 经 50 步 GRPO：平均成功率从 51.70% 升到 60.78%，20 次尝试全对的任务从 38 个增至 107 个；代价是「20 次里至少对一次」的覆盖率略有下降。
- 一个酒店降级任务里，基座模型 20 次中有 15 次在未经经理审批的情况下改了预订；训练后 20 次都保住了预订和支付状态。
开发者视角就算不训练，这套思路也该先用在评测上：AI 云盘里让智能体整理、移动文件，验收看的应该是目录和权限最后变成什么样，而不是它说自己做完了。「20 次全对」从 38 个升到 107 个，比平均分更贴近线上体验，这个指标值得抄。