工具 #开源模型 2026-11-19 · 原文发布 11-18

AWS Lambda Managed Instances 支持 GPU:在 EC2 G 系列上跑推理函数,预置 vLLM、SGLang 与 PyTorch 镜像

不用自己管 GPU 驱动、框架和扩缩容,也能把 GPU 推理当成事件驱动的一步。适合有零散推理任务、又不想养一组 GPU 实例的团队。

一手来源 AWS · aws.amazon.com 读原文 ↗

// 要点

  • GPU 加速的 Event Functions 运行在 EC2 G 系列实例上,按 GPU、CPU 利用率与并发扩缩,每个执行环境并发处理多个调用。
  • 提供预装 vLLM、SGLang、PyTorch 的 GPU 基础镜像;容器镜像与 NVMe 临时存储各最大 32 GB,支持 SOCI 延迟加载与从 S3 流式读取。
  • 计费:EC2 按需价(可用 Savings Plans 与预留实例)加 9.75% 的 Lambda 管理费,再加每百万次请求 0.20 美元。
  • 已在所有同时提供 Lambda Managed Instances 与 G 系列实例的商业区域上线。

开发者视角PandaClaws 这类内容后台,转写、抽帧、小模型打分都是一阵一阵的,常驻 GPU 大部分时间空着。Lambda 这个形态让「上传触发 → GPU 处理」可以直接接到事件源上。我会先把一个自部署的小模型(比如开源语音转写)搬上去,算清 9.75% 管理费与空闲 GPU 的差额再决定要不要扩大。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-19 Cloudflare 开放 Clairic 与 Clairic-flash 权重:27B 与 9B 两个信息抽取模型,支持 PDF,只按输入 token 计费
  2. 11-19 Hugging Face 演示 Transformers 从 SSD 流式加载 MoE 专家:180B 参数模型在 32 GB 内存的 MacBook 上跑到约 14 tok/s
  3. 11-19 Rumble-2-Flash 以 Apache 2.0 开源:0.5B 参数语音识别模型支持 40 多种语言,多语种平均错误率 6.96%

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →