NVIDIA 开放 Nemotron 3.5 Transcribe:一个模型做 40 种语言转写、翻译、说话人标注和音频问答,Open ASR 英文榜开放权重第一
转写、分说话人、翻译原本要拼好几个模型,现在一个开放权重模型加提示词就能做,还附带了可复用的训练数据管线。
// 要点
- 权重已在 Hugging Face 和 ModelScope 上线:转写 40 种语言,31 种可与英文互译,13 种支持说话人标注;单段录音最长 1 小时、最多 8 位说话人;可用自然语言提示控制输出,支持词级时间戳。
- Hugging Face Open ASR 英文榜平均 WER 5.33%,开放权重模型第一;7 种语言多语种平均 WER 4.62%;Artificial Analysis 上 AA-WER 2.8%,与另一开放模型并列第一,激活参数约 4B(总 30B),对方为 24B。
- 同时发布 Granary v2 多语种数据与清洗管线;医疗案例中微调使未见说话人的 WER 比最佳提示再降 45.8%(相对值)。各任务支持的语言不同,音频问答只用英文训练;量化版即将推出。
开发者视角智能面试现在是 ASR 加单独的说话人分离拼起来的,一个模型同时给出说话人标签和词级时间戳,能省掉一整段对齐代码。但榜单成绩是英文的:先查模型卡上中文在哪些任务里受支持,再拿我们自己录的中文面试跑一遍,同时确认许可证,再决定要不要换。