研究 #开源模型 2026-11-18 · 原文发布 11-17

NVIDIA 发布稀疏注意力设计指南:在 DeepSeek V3.2 与 V4 解码中,复用上一步选择的 Top-k 比常规 radix select 快 2.1 到 2.4 倍

上下文拉到几十万 token 后,注意力成了每层里最贵的部分。这一条讲模型级稀疏注意力在 GPU 上怎么设计才跑得快,适合训练或部署长上下文模型的团队。

图片来源:NVIDIA 技术博客
一手来源 NVIDIA 技术博客 · developer.nvidia.com 读原文 ↗

// 要点

  • 稠密注意力的单 query 成本随上下文长度增长,在 128K token 时可占一层预填充时间的大部分;模型级稀疏注意力让每个 query 只关注一小部分 key,但打分全部 key 的工作转移到仍处理完整上下文的 indexer。
  • 设计建议:indexer 用单个 key head 并做跨头归约;indexer 的 head 维度取 128 或 256;epilogue 与累加用 FP16;通过压缩、分层索引或索引共享减少需打分的 key。
  • Guess-Verify-Refine 把上一步解码的选择当作猜测、一次扫描验证,在 DeepSeek V3.2 与 V4 解码中比标准 radix select 快 2.1 到 2.4 倍;融合实现已在 TensorRT LLM,FlashInfer 有开源的融合 indexer 与 Top-k。

开发者视角我们不训练模型,但这篇解释了为什么 DeepSeek 这类稀疏注意力模型在长上下文上便宜。AI 云盘做整份文档问答时,我会优先挑用了稀疏注意力的开源模型,并确认推理框架用的是 TensorRT LLM 或 FlashInfer 的融合实现,否则长文本的成本优势会被吃掉一大半。

// 来龙去脉 · 来自 #开源模型 专题

看完整时间线 →
  1. 11-17 Hugging Face 把 Inference Providers 换成 OpenRouter 的路由:一个 HF token 调用 80 多家服务商托管的开源模型,不加价
  2. 11-17 Amazon Bedrock 上的开源模型支持显式提示缓存,与隐式缓存一起通过 Chat Completions 接口使用
  3. 11-17 NVIDIA 公布 MLPerf Endpoints v1.0 暂定成绩:Vera Rubin NVL72 在智能体推理上每千瓦吞吐是 GB300 NVL72 的 5 到 10 倍

每周一,一封邮件看完 AI 大事

每周一早上,把过去 7 天最值得关注的 6 件 AI 大事和我的解读发到你邮箱。

邮箱只用于发送周报,不会提供给任何第三方;每封邮件底部都可以一键退订。 看看最近一期 →