PyTorch 2.15 的 Mac 后端：MoE 模型解码快 5–6.5 倍，Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 升到 61.3 token/s
Hugging Face 的 PyTorch 团队把 MPS 后端的大量瓶颈换成专用 Metal 内核，Mac 本地跑模型更现实了。
// 要点
- MoE 模型解码比 2.14 快 5–6.5 倍：在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 从 9.4 升到 61.3 token/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 token/s。
- FP8 来到 MPS，float8_e4m3fn 占用为 BF16 的一半；词表上的 softmax 快约 8 倍。
- Wan2.2 视频 VAE 解码的显存峰值从 270 GiB 降到 8 GiB。
- MPS 现在要求 macOS 15 及以上，PyTorch 2.15 要求 Python 3.11 及以上。
开发者视角61 token/s 的 35B MoE 已经够做本地开发和离线批处理了。我会把一部分内部评测脚本挪到 Mac 上用 MoE 模型先跑一遍，省掉为小实验开 GPU 机器；升级前先确认机器是 macOS 15、Python 3.11 以上。