开源 #开源模型 2026-11-14 · 原文发布 11-13

NVIDIA 用两台 DGX Station 跑 753B 参数的 GLM-5.3:并发 16 时输出吞吐峰值 607.8 token/s

前沿规模的开放模型已经装不进一台机器。这一条讲两台工作站怎么拼成一个推理端点,以及负载下的实测数字。

图片来源:NVIDIA 开发者博客
一手来源 NVIDIA 开发者博客 · developer.nvidia.com 读原文 ↗

// 要点

  • GLM-5.3 NVFP4 是 Z.ai MoE 模型的量化版:7,530 亿参数、每 token 激活 400 亿,约 464 GB,超过单张 GB300 的 252 GB HBM3e。
  • 两台 DGX Station 经 ConnectX-8 RDMA 互联,用张量并行(TP=2)各存约一半权重,通过一个兼容 OpenAI 的端点对外服务;vLLM 开启多 token 预测、FP8 KV 缓存和前缀缓存。
  • 在 SPEED-Bench Coding 数据集上,并发 16 时总输出吞吐达到峰值 607.8 token/s;并发 32 时降到 385.0 token/s,平均请求延迟 453.5 秒。

开发者视角最有用的数字是并发 32 时吞吐反而下降、平均延迟 453.5 秒:本地跑前沿开放模型可行,但只适合小团队内部、低并发的场景。想为了数据不出门而自建的团队,先按这篇的方法在自己的提示词上测出最佳并发,再算每 token 成本和云上按量调用比。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-14 llama.cpp 与 ggml 发布 v1.0.0:今后公开 C API 的破坏性变更都升主版本号
  2. 11-13 IBM 发布 LLMON 标记语言与 Granite 4.1 3B、8B 预览模型:用保留特殊 token 区分指令与数据,在 OPI 基准上比最好的前沿模型多挡住 47% 的注入攻击
  3. 11-13 DeepSeek V4-Pro、V4-Flash 与 V4.1-Flash 上架 SageMaker JumpStart:均为 MIT 许可的 MoE 模型,100 万 token 上下文

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →