Hugging Face 演示池化感知训练:多向量检索文档向量减少 74.8%,NanoBEIR 分数保留率从 94.6% 提到 97.8%
ColBERT 这类多向量模型检索效果好,但存储量大。这一条讲怎么在训练时就让模型适应向量合并,用同样的存储换更好的召回。
// 要点
- 多向量模型为每个 token 保留一个向量,百万级文档的语料可能有上亿个向量;token 池化把相似的向量合并以压缩存储。
- pool_factor=4 时,普通训练的模型保留未池化 nDCG@10 的 94.6%,池化感知训练提到 97.8%,nDCG@10 从 49.03 到 51.23,文档向量比不池化少 74.8%。
- 自适应池化下平均每篇文档 29.58 个向量、向量减少 84.7%,池化感知模型保留 97.3%,普通模型为 93.3%。
- 方法以 Sentence Transformers 的损失包装器实现,文中附可复现的训练示例。
开发者视角AI 云盘的语义搜索如果在考虑多向量模型,存储成本是最大的顾虑,这篇给了一个可以直接复现的折中:先按 pool_factor=4 估算向量数和存储费用,再用自己的文档集验证召回,不要只看 NanoBEIR。