Hugging Face 与 AWS 推出 TorchNeuron：Transformers 等库直接跑在 Trainium 上，前 100 个文本生成架构开箱可用率从 46% 升到 89%
Trainium 从「需要专门改模型代码」变成「换个 device 名」，这是它和 GPU 争开源模型工作负载的关键一步。
// 要点
- TorchNeuron 是 PyTorch 插件，把 neuron 作为原生设备，支持 eager 模式、torch.compile 以及 FSDP、张量并行等分布式接口。
- Transformers、Diffusers、Accelerate、PEFT、TRL 可直接在 Trainium 上运行，推理时传 device_map="neuron" 即可；官方建议改用这些库，而不是 Optimum Neuron。
- 最常用的前 100 个文本生成架构中 89% 开箱可用，Optimum Neuron v0.4.5 时是 46%。
- 10 月 20 日进入公开测试，用 pip install torch-neuronx 安装。
开发者视角在 AWS 上微调或自托管开源模型的团队，可以把 Trainium 重新放回候选：以前卡在要改模型代码，现在门槛降到改 device。我的做法是先挑一个已经在 GPU 上跑通的推理服务，原样迁过去比每百万 token 成本；还是公开测试，别把训练任务第一个搬过去。