磁盘向量索引 - 大数据集（100M+）的超低内存向量搜索

索引大型数据集（100M+嵌入）通常需要大多数向量数据库很多内存：对于100M文档/嵌入，大多数向量数据库需要大约 500GB的内存，这相应地提高了您服务器的成本。

此存储库提供方法，可以在仅 300MB内存的情况下对非常大的数据集（100M+）进行搜索，使语义搜索对内存有限的开发人员变得可行。

我们提供各种预构建索引，可用于语义搜索并支持您的RAG应用程序。

预构建索引

以下列出了不同的预构建索引。嵌入在第一次调用时下载，索引大小在索引大小下指定。大多数嵌入是从磁盘内存映射的，例如，对于 Cohere/trec-rag-2024-index 语料库，您需要15GB的磁盘空间，但只需380MB的内存来加载索引。

每个索引都包含相应的语料库，这些语料库被分割成更小的部分。这些块按需下载并用于后续查询。

入门指南

从cohere.com获取您的免费Cohere API密钥。您必须将此API密钥设置为环境变量

export COHERE_API_KEY=your_api_key

安装包

pip install DiskVectorIndex

然后您可以通过以下方式搜索

from DiskVectorIndex import DiskVectorIndex

index = DiskVectorIndex("Cohere/trec-rag-2024-index")

while True:
    query = input("\n\nEnter a question: ")
    docs = index.search(query, top_k=3)
    for doc in docs:
        print(doc)
        print("=========")

您也可以通过以下方式从磁盘加载已完全下载的索引

from DiskVectorIndex import DiskVectorIndex

index = DiskVectorIndex("path/to/index")

它是如何工作的？

Cohere嵌入已优化以在压缩向量空间中良好工作，如我们Cohere int8 & binary Embeddings博客文章中详细说明。嵌入不仅被训练以在float32中工作，这是需要大量内存的，而且还可以很好地与int8、二进制和产品量化（PQ）压缩一起操作。

上述索引使用产品量化（PQ）将原始的每个嵌入从1024*4=4096字节减少到仅128字节，将您的内存需求降低了32倍。

此外，我们使用faiss和内存映射IVF：在这种情况下，只需要在内存中加载非常小的一部分（介于32,768和131,072之间）嵌入。

需要大规模语义搜索吗？

在Cohere，我们帮助客户在数十亿个嵌入上运行语义搜索，成本仅为一小部分。如果您需要一个可扩展的解决方案，请随时联系Nils Reimers。