NVIDIA 用 Nemotron 模型搭全本地语音智能体：说完到出声中位 1.70 秒，命中缓存 0.72 秒
一个万圣节互动装置，但完整给出了本地语音智能体的模型组合、硬件和延迟数字。
// 要点
- 由 Nemotron Voice Agent 蓝图串起整条链路：Nemotron 3 ASR（流式、英文、0.6B）识别语音，带自定义 LoRA 的 Nemotron 3.5 Bolt E4B 4GB 负责对话，Magpie TTS Zeroshot 用少量参考样本生成声音，Audio2Face-3D 在 Unreal Engine 5 里驱动口型。
- LoRA 用 5,000 多段多轮对话训练；语言和语音链路跑在一张 RTX PRO 6000 Blackwell Max-Q 上，渲染和 Audio2Face-3D 跑在一张 RTX PRO 4000 Blackwell 上。
- 用 Bolt Q4 加 TTS 时，从说完到出声的中位延迟 1.70 秒，命中缓存的回复 0.72 秒；判定说完要等 300 毫秒静音。
- 装置本身的代码不开源，所用的 NVIDIA 模型和 Voice Agent 蓝图可以获取。
开发者视角这是个节日玩具，但数字对做语音产品的人很实在：全本地链路中位 1.7 秒，缓存命中能压到 0.72 秒。放到智能面试这类场景，我会把开场白、常见追问这类高频回复先做缓存；静音判定阈值要单独调，300 毫秒对正在思考的面试者可能偏短，容易抢话。
// 来龙去脉 · 来自 #开源模型 专题
看完整时间线 →- 11-02 NVIDIA 推出 NemoClaw 开放蓝图：在 OpenClaw、Hermes Agent 或 LangChain Deep Agents 上配 Nemotron 模型和 OpenShell 运行时
- 11-02 NVIDIA 用开源的 AI Cluster Runtime 承载 Dynamo 1.4.2：验证配方钉死约 18 个 Helm chart，面向 EKS 上的 GB200、GB300 NVL72
- 11-01 NVIDIA 用几条命令在 DGX Spark 上跑 Nemotron 3.5 Lightning：DSpark 投机解码把 HumanEval 生成速度从每秒 73.4 提到 126.9 token