AWS 把 GLM-5.3 购物智能体蒸馏进 Qwen3.5-4B：留出集成功率从 0.297 升到 0.541，与老师模型持平
一套完整的多步智能体序列级蒸馏流程，数字表明 4B 小模型能接手窄而重复的智能体任务。
// 要点
- Bedrock 上的 GLM-5.3 在 ShoppingBench 的 426 道训练题上生成 850 条轨迹，只保留解对的；Qwen3.5-4B 在 SageMaker AI 上用无服务器 SFT 做 LoRA（rank 64）微调
- 324 道留出题的平均成功率：基础模型 0.297，蒸馏后 0.541，老师模型贪心解码 0.540、采样 0.511，一个中等规模前沿模型 0.546
- 通用指令遵循有所下降：IFEval prompt-strict 从 0.819 降到 0.741，instruction-strict 从 0.872 降到 0.813
- 把推理过程和动作一起保留下来，是学生追上老师的关键；模型可在单台 G 系列实例（A10G/L40/L40S）上服务，AWS 没有公布单任务成本
开发者视角这是我见过最清楚的一套做法，把格式固定的智能体任务从前沿 API 上挪下来：记下轨迹、只留成功且带推理的、微调一个 4B 模型。我会先拿 PandaClaws 调用量最大的后台步骤试，保留 IFEval 这类通用能力回归检查；流量稳定到按小时计费的实例比按 token 便宜时再切。