SGLang-Neuron 公开可用:用原有的 SGLang 接口在 AWS Trainium 上推理和生成强化学习 rollout,支持预填充与解码分离
RadixArk 与 Annapurna Labs 合作的 SGLang 插件,把 Trainium 接到开发者已经熟悉的推理框架上。
// 要点
- 以树外插件形式实现,装好后设 SGLANG_PLATFORM=neuron 即可选用;SGLang 核心继续负责 API 服务、请求生命周期与 RadixAttention 前缀缓存。
- 插件基于原生 PyTorch 与 NKI 内核,用 torch.compile 编译执行;Trainium 侧的模型、注意力、MoE 与图执行器由插件实现。
- 支持预填充与解码分离:预填充服务器算出 KV 缓存后经 EFA 上的 NIXL 传给解码服务器。
- 通过 AWS 深度学习容器提供,示例在 Trainium3 实例上运行 gpt-oss-120b。
开发者视角换芯片最大的成本是换推理栈,现在 SGLang 用户可以不改调用方式试 Trainium。自部署开放模型的团队可以拿一个现有模型在 Trainium 和 GPU 上各跑一遍同样的负载,比每百万 token 成本;先看官方验证过的模型列表,不在列表里的别急着上生产。