SageMaker AI 默认监测生成式推理端点:响应变慢、GPU 闲置、缺少投机解码等配置落后时发通知
推理端点上线后,流量变了、新的推理技术出来了,配置就会落后。这一条讲 SageMaker 怎么发现并给出可验证的调整建议。
// 要点
- 默认跟踪响应时间和 GPU 使用率并检查配置,不读取请求和响应内容;问题包括较旧的推理容器、未开投机解码、未做 GPU 内核调优。
- 变化持续一周或发现配置缺口时,每个端点发一条 AWS Health 通知,并可跳转运行推理建议,对比响应时间、吞吐和每百万 token 成本。
- 测试不动生产端点,客户应用结果前不会有任何变更;监测免费,建议任务按标准计算费用收费。
开发者视角自托管推理最常见的浪费就是「上线时调好,之后没人再看」。不用 SageMaker 也可以照抄这份检查单:每周看一次 GPU 利用率和 P95 延迟,推理容器每季度升级一次,投机解码默认开。