NVIDIA 用几条命令在 DGX Spark 上跑 Nemotron 3.5 Lightning：DSpark 投机解码把 HumanEval 生成速度从每秒 73.4 提到 126.9 token
端侧推理的上手门槛又降了一截，同时给出了一组能看清投机解码收益在哪里的数字。
// 要点
- trtedge 命令行工具负责下载模型并构建 TensorRT 引擎，测试版本 0.11.1，在 127.0.0.1:8000 提供 OpenAI 兼容接口。
- 同一套运行时从 DGX Spark 上开发，延伸到 Jetson Thor、DRIVE AGX Thor 与 IGX Thor 上部署。
- 示例模型为 Nemotron-3.5 Lightning 30B-A3B NVFP4，首次下载约 21GB；DSpark 用 3 个草稿 token，峰值显存 27.9GB。
- 开启 DSpark 后平均生成速度：HumanEval 73.4 → 126.9 token/s，SpeedBench 1K 73.3 → 108.5 token/s；首 token 中位延迟基本不变（98.1 → 98.7 ms）。
开发者视角这组数字说明投机解码加速的是长输出，首 token 延迟一点没变：如果你的瓶颈是「用户等第一个字」，它帮不上；如果是生成长报告、长代码，收益在 1.5 倍左右。接口是 OpenAI 兼容的，本地评测只需要改 base_url，我会先拿自己产品的真实提示词跑一遍，再决定值不值得为端侧单独维护一套引擎。