Hugging Face 介绍 Token Pooling 压缩多向量嵌入，称可将文档向量减少 4 倍

Hugging Face 在 11 月 11 日发布技术博客，介绍了 token pooling 如何缓解 ColBERT 这类多向量嵌入的存储压力。文中称，`pool_factor=4` 时，常规训练模型可保留 NanoBEIR nDCG@10 的 94.6%，而感知 pooling 训练可提升到 97.8%。博客还给出 `max_tokens=16`、`distance_threshold` 和 `MultiVectorTokenPoolingLoss` 等实现细节。