SageMaker AI 训练与处理任务支持 SOCI 索引镜像懒加载:13.2 GB 镜像下载从 3 分 42 秒降到约 6 秒
大镜像拉取时 GPU 空转的问题有了现成解法,不用改任务定义。
// 要点
- SOCI 索引让任务只拉取启动容器所需的文件,其余在后台流式加载;任务定义、入口和数据通道都不用改,无索引或懒加载失败时回退为完整下载。
- 实测镜像下载:1.8 GB 从 48 秒降到 3–11 秒,13.2 GB 从 3 分 42 秒降到约 6 秒,35.4 GB 从 7 分 17 秒降到 3–11 秒;GPU 拉镜像期间的空闲时间最多减少 90%。
- 首个 epoch 会慢 3–16 秒,之后每个 epoch 与标准镜像持平,测试中每个任务总体提前 1–6 分钟完成。
- 已在所有 AWS 区域可用,只支持 Amazon ECR 私有仓库;约 4 GB 以下的镜像收益较小,运行时改为 containerd,依赖 Docker CLI 或 Docker socket 的代码可能要改。
开发者视角单个任务省几分钟不起眼,但频繁跑短任务(评测、小批量微调、数据处理)时,按 GPU 小时计费的那部分会明显少。上手前先查一下训练脚本里有没有调 docker 命令,有的话这是唯一要改的地方;4 GB 以下的镜像就不用折腾了。