SageMaker AI 训练会话正式可用:自己写后训练循环和奖励函数,GPU 由 AWS 管,按处理的 token 计费
给开源权重模型做强化学习的门槛又低了一截。这一条讲你写什么、AWS 管什么、怎么收费。
// 要点
- 训练会话是 SageMaker AI 无服务器模型定制的扩展:训练循环、自定义损失和奖励信号由你写,GPU 分配、分布式执行、故障恢复和检查点存储由 SageMaker AI 负责。
- 支持 SFT、DPO、RLVR、RLAIF 和多轮强化学习,可以选 LoRA 或全量微调;奖励函数在你自己的环境里运行,并在那里把智能体接到它的工具或模拟器上。
- 按 SageMaker AI 处理的 token 计费,奖励函数在你那边给一批结果打分时不计费,也不需要预留容量。
- 配套的 cookbook 提供模型定制的智能体技能,可在 SageMaker Studio、Kiro、Claude Code、Codex 和 GitHub Copilot 里使用。
开发者视角「打分时不计费」这一点对多轮智能体训练很关键,评测环境慢也不白花 GPU 钱。我会先拿下一条 ThinkingBox 那种「检查最终状态」的奖励,在一个小开源模型上跑几十步看曲线,再决定值不值得为某个固定任务养一个专用模型。