SageMaker AI 实时推理端点支持 GPU 切分：借助 NVIDIA MIG，一块 GPU 最多切成 7 个隔离分区，分别跑不同模型
小模型不必再独占整块 GPU，适合同时托管多个微调变体、向量模型和重排模型的团队。
// 要点
- 基于 NVIDIA Multi-Instance GPU（MIG），每块 GPU 最多切成 7 个分区，各自拥有独立的显存与算力。
- 在创建托管推理组件的端点时配置，应用仍按模型名称分别调用各个模型。
- AWS 举的场景包括微调模型变体、向量模型、重排模型和分类模型；支持 P4d、P5、G7、G7e 实例。
- 首批覆盖弗吉尼亚北部、俄亥俄、俄勒冈、新加坡、东京、法兰克福、爱尔兰 7 个区域。
开发者视角AI 云盘的检索链路里向量模型和重排模型都很小，却各占一块卡，这类部署最先受益：先把两者合到一块 GPU 的两个分区上压测延迟，再看账单。要注意分区是硬隔离，单个分区的显存是固定的，模型大小和并发要按分区规格重新算。