工具 2026-11-08 · 原文发布 11-06

SageMaker 推理支持 MIG 切分 GPU:半张 H100 对比整张 A100-40GB,吞吐高 53% 到 89%,每百万输出 token 便宜 18% 到 34%

一个端点上可以放比 GPU 数量更多的模型,彼此有硬件隔离,适合多租户和大量微调变体。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 用 NVIDIA MIG 把一张物理 GPU 切成独立分区,每个分区有固定的计算单元和专属显存,隔离由硬件保证;视 GPU 而定最多切 7 份
  • 只适用于使用 inference components 的端点;单模型端点、Serverless 端点和异构实例池不能切分
  • AWS 实测 H100 的一个 40 GB 分区对比整张 A100-40GB:各场景吞吐高 53% 到 89%(在各自成本优势最大的负载下),首 token 延迟低 5.6% 到 47.5%
  • 越过一个随提示词变长而提前的交叉点之后,每百万输出 token 便宜 18% 到 34%(按按需价格计算)

开发者视角很多团队为每个小模型独占一张卡,账单里一半是空转。智能面试按岗位微调的几个小模型,我会先挪到 inference components 上,用半张新卡替换整张旧卡跑一周,对比延迟和账单再决定要不要全量迁移。

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →