vector_db_id_compression开源 – 无损压缩向量ID,优化ANNS索引存储
vector_db_id_compression 是一个基于论文 'Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search' 的实现项目,专注于无损压缩近似最近邻搜索(ANNS)索引中的向量 ID,以显著减少存储空间。该项目使用非对称数字系统(ANS)和小波树(WT)技术,在不影响搜索精度和速度的情况下,实现了高达7倍的向量 ID 压缩率,并在十亿级数据集上将整体索引大小减少了30%。此外,项目还探索了簇内量化码的条件熵编码,进一步提高了压缩率。