SageMaker 推理支持 MIG 切分 GPU:半张 H100 对比整张 A100-40GB,吞吐高 53% 到 89%,每百万输出 token 便宜 18% 到 34%
一个端点上可以放比 GPU 数量更多的模型,彼此有硬件隔离,适合多租户和大量微调变体。
// 要点
- 用 NVIDIA MIG 把一张物理 GPU 切成独立分区,每个分区有固定的计算单元和专属显存,隔离由硬件保证;视 GPU 而定最多切 7 份
- 只适用于使用 inference components 的端点;单模型端点、Serverless 端点和异构实例池不能切分
- AWS 实测 H100 的一个 40 GB 分区对比整张 A100-40GB:各场景吞吐高 53% 到 89%(在各自成本优势最大的负载下),首 token 延迟低 5.6% 到 47.5%
- 越过一个随提示词变长而提前的交叉点之后,每百万输出 token 便宜 18% 到 34%(按按需价格计算)
开发者视角很多团队为每个小模型独占一张卡,账单里一半是空转。智能面试按岗位微调的几个小模型,我会先挪到 inference components 上,用半张新卡替换整张旧卡跑一周,对比延迟和账单再决定要不要全量迁移。