AWS 公开一次多轮强化学习的完整账单：约 339 美元，gpt-oss-20b 的 Wordle 解题率从 61% 升到 84%
继 10-23 那条 SageMaker AI 训练会话之后，这篇给出了多轮强化学习从部署奖励到评估的完整流程和实际花费。
// 要点
- 智能体与奖励函数托管在 Bedrock AgentCore 上，每次 rollout 由训练任务调用；训练用 GRPO 更新 LoRA 适配器，开发者只定义怎么给最终结果打分。
- 在留出词上，默认推理强度下解题率从 61% 升到 84%，训练所用的低推理强度下从 15% 升到 69%。
- 100 步训练共 105,486 次 rollout、耗时 12 小时 40 分，消耗 4.916 亿 prefill、1.597 亿采样和 6.433 亿训练 token，按 us-east-1 标价约 339 美元。
- 文中提醒：sampling_max_tokens 默认 4096 时，gpt-oss 常在第一次工具调用前就耗尽 token，需调到上限 8192；文章还整理了奖励设计上踩过的坑。
开发者视角339 美元这个数字很有用：一个规则清楚、能自动判分的多步任务，小开源模型一轮强化学习的成本已经低于一次外包测试。智能面试里「按评分规则追问」这类流程可以照这个套路试，但先把判分函数写扎实，别让模型学会钻打分的空子。