工具 2026-11-16 · 原文发布 11-13

SageMaker HyperPod 推出 Data Capture,把线上推理的输入输出分三层记到 S3;AWS 的合成数据演示中,60 秒 LoRA 微调把留出集准确率从 83.9% 提到 100%

自己部署模型的团队,最缺的是上线之后的真实数据。这一条讲 HyperPod 的三层采集、一次完整的「采集—打标—微调」循环,以及演示里暴露的捷径问题。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 三层采集可任意组合:SageMaker 端点层记录完整请求与响应,适合合规与 Model Monitor;负载均衡层只记访问日志字段,适合低成本看流量和错误率;模型 Pod 层记录完整负载与事件元数据,适合调试、分析和收集训练数据。
  • 演示用合成的家电客服路由:新品上市后「其他」类占比从 4.8% 升到 36.8%,经 Athena 查询发现盲区,用 SQL 规则给采集记录打标,再在一张 L40S 上做 60 秒、rank 16 的 LoRA 微调(约 2990 万参数,不到 31 亿参数模型的 1%)。
  • 280 条留出工单准确率从 235 条(83.9%)提到 280 条(100%),原有五个类别无退化;但 24 条手写探针只答对 20 条,模型学到了「cooling 就是空调」「提到 Arctis 就归空调」两条捷径。
  • AWS 实测经采集代理与直连 vLLM 的 p50、p99 延迟与吞吐几乎相同;文中提醒完整负载可能含姓名、地址和订单号,应配合采样、KMS 加密、生命周期规则和 PII 脱敏。

开发者视角这篇最有用的反而是那 24 条手写探针:同源生成的评测集给出 100%,换个写法就露出捷径。我做 AI 云盘的意图路由时也会这样分两套评测,一套来自线上采集,一套由人手写、刻意换说法。真要采集线上数据,先把脱敏和保留期限定好,再谈飞轮。

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →