AWS Lambda Managed Instances 支持 GPU:在 EC2 G 系列上跑推理函数,预置 vLLM、SGLang 与 PyTorch 镜像
不用自己管 GPU 驱动、框架和扩缩容,也能把 GPU 推理当成事件驱动的一步。适合有零散推理任务、又不想养一组 GPU 实例的团队。
// 要点
- GPU 加速的 Event Functions 运行在 EC2 G 系列实例上,按 GPU、CPU 利用率与并发扩缩,每个执行环境并发处理多个调用。
- 提供预装 vLLM、SGLang、PyTorch 的 GPU 基础镜像;容器镜像与 NVMe 临时存储各最大 32 GB,支持 SOCI 延迟加载与从 S3 流式读取。
- 计费:EC2 按需价(可用 Savings Plans 与预留实例)加 9.75% 的 Lambda 管理费,再加每百万次请求 0.20 美元。
- 已在所有同时提供 Lambda Managed Instances 与 G 系列实例的商业区域上线。
开发者视角PandaClaws 这类内容后台,转写、抽帧、小模型打分都是一阵一阵的,常驻 GPU 大部分时间空着。Lambda 这个形态让「上传触发 → GPU 处理」可以直接接到事件源上。我会先把一个自部署的小模型(比如开源语音转写)搬上去,算清 9.75% 管理费与空闲 GPU 的差额再决定要不要扩大。