伯克利开源向量索引 LEANN，把 6000 万块 RAG 索引从 201GB 压到 6GB

LEANN：不存向量的向量索引，把 RAG 索引压到原来的 3%

• UC Berkeley Sky Computing Lab 出品，基于 FAISS，MIT 许可，uv pip install leann 安装
• 查询时只重算搜索路径上节点的 embedding，不把全部向量存盘；仓库基准中 6000 万块维基索引从 201GB 降到 6GB
• 论文获 MLSys 2026 最佳研究论文；在 90% 召回下与 HNSW 下游准确率相当，存储不到原始数据的 5%
• 代价是检索变慢：NQ 上检索 2.48 秒，HNSW 为 0.05 秒；端到端从 20.95 秒升到 23.34 秒

LEANN 要解决的问题是向量索引常常比被索引的数据还大：论文中 76GB 语料需要 173GB embedding 加 15GB HNSW 图。LEANN 只保留剪枝后的图和紧凑的乘积量化（PQ）表，查询时按需重新计算向量，默认 embedding 模型为 1.1 亿参数的 Contriever，目标是在笔记本上对个人数据做语义搜索和 RAG。

为避免重算拖慢搜索，LEANN 用了三项技术：先用廉价的 PQ 距离排序、只对头部候选精确重算的两级搜索；把多跳候选成批（如一次 64 个）送 GPU 的动态批处理；以及让大多数节点保留少量边、前 2% 的枢纽节点保留更多边的高度数保留剪枝。消融中两级搜索平均提速 1.4 倍，加上批处理达 1.8 倍，但重算仍占查询延迟约 76%。

论文自报结果：在 NQ 上用 Qwen3-4B 和 RTX 4090，LEANN 与 HNSW 下游准确率都是 25.5%，存储 4GB 对 188GB，BM25 为 18.3%；各数据集检索耗时 1.12 秒（GPQA）到 7.12 秒（HotpotQA），Mac 上 HotpotQA 检索 44.80 秒，占总流程 50.1%。论文测试了 RTX 4090、32GB 内存的主机和 M1 Ultra Mac，提供仅 CPU 的 Linux 安装但未公布 CPU 延迟。

基于原文整理的中文深读，细节以原文为准。