NVIDIA 发布稀疏注意力设计指南:在 DeepSeek V3.2 与 V4 解码中,复用上一步选择的 Top-k 比常规 radix select 快 2.1 到 2.4 倍
上下文拉到几十万 token 后,注意力成了每层里最贵的部分。这一条讲模型级稀疏注意力在 GPU 上怎么设计才跑得快,适合训练或部署长上下文模型的团队。
// 要点
- 稠密注意力的单 query 成本随上下文长度增长,在 128K token 时可占一层预填充时间的大部分;模型级稀疏注意力让每个 query 只关注一小部分 key,但打分全部 key 的工作转移到仍处理完整上下文的 indexer。
- 设计建议:indexer 用单个 key head 并做跨头归约;indexer 的 head 维度取 128 或 256;epilogue 与累加用 FP16;通过压缩、分层索引或索引共享减少需打分的 key。
- Guess-Verify-Refine 把上一步解码的选择当作猜测、一次扫描验证,在 DeepSeek V3.2 与 V4 解码中比标准 radix select 快 2.1 到 2.4 倍;融合实现已在 TensorRT LLM,FlashInfer 有开源的融合 indexer 与 Top-k。
开发者视角我们不训练模型,但这篇解释了为什么 DeepSeek 这类稀疏注意力模型在长上下文上便宜。AI 云盘做整份文档问答时,我会优先挑用了稀疏注意力的开源模型,并确认推理框架用的是 TensorRT LLM 或 FlashInfer 的融合实现,否则长文本的成本优势会被吃掉一大半。