开源 #开源模型 2026-11-13 · 原文发布 11-12

SGLang-Neuron 公开可用:用原有的 SGLang 接口在 AWS Trainium 上推理和生成强化学习 rollout,支持预填充与解码分离

RadixArk 与 Annapurna Labs 合作的 SGLang 插件,把 Trainium 接到开发者已经熟悉的推理框架上。

图片来源:AWS 机器学习博客
一手来源 AWS 机器学习博客 · aws.amazon.com 读原文 ↗

// 要点

  • 以树外插件形式实现,装好后设 SGLANG_PLATFORM=neuron 即可选用;SGLang 核心继续负责 API 服务、请求生命周期与 RadixAttention 前缀缓存。
  • 插件基于原生 PyTorch 与 NKI 内核,用 torch.compile 编译执行;Trainium 侧的模型、注意力、MoE 与图执行器由插件实现。
  • 支持预填充与解码分离:预填充服务器算出 KV 缓存后经 EFA 上的 NIXL 传给解码服务器。
  • 通过 AWS 深度学习容器提供,示例在 Trainium3 实例上运行 gpt-oss-120b。

开发者视角换芯片最大的成本是换推理栈,现在 SGLang 用户可以不改调用方式试 Trainium。自部署开放模型的团队可以拿一个现有模型在 Trainium 和 GPU 上各跑一遍同样的负载,比每百万 token 成本;先看官方验证过的模型列表,不在列表里的别急着上生产。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-13 IBM 发布 LLMON 标记语言与 Granite 4.1 3B、8B 预览模型:用保留特殊 token 区分指令与数据,在 OPI 基准上比最好的前沿模型多挡住 47% 的注入攻击
  2. 11-13 DeepSeek V4-Pro、V4-Flash 与 V4.1-Flash 上架 SageMaker JumpStart:均为 MIT 许可的 MoE 模型,100 万 token 上下文
  3. 11-12 微软研究院披露 Lazarus:改写不到 10 个休眠神经元、无需训练,就能给基于该模型的智能体植入后门

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →