PageIndex：消灭向量数据库，用推理型RAG实现金融文档98.7%准确率
PageIndex：消灭向量数据库，用推理型RAG实现金融文档98.7%准确率 GitHub Stars: 29.1k+ | Forks: 2.4k+ | 语言: Python | 许可证: Apache-2.0 传统检索增强生成（RAG）有一个不为人知的秘密：相似性不等于相关性。当你把一份 200 页的金融报告嵌入向量数据库并通过余弦相似度检索块时，你实际上在赌语义接近等于信息重要性。事实往往并非如此。进入 PageIndex——一款无向量、基于推理的 RAG 系统，它完全抛弃了向量数据库，转而使用由 LLM 推理导航的 层次树索引。 在这篇深度评测中，我们将拆解 PageIndex 的工作原理、它为何能在 FinanceBench 基准测试上达到最先进的 98.7% 准确率，以及如何将其部署到你自己的文档密集型应用中。 向量 RAG 的问题 基于向量的 RAG 流水线通常： 将文档切分成任意固定大小的块。 将每个块嵌入高维向量。 检索与查询嵌入"最接近"的向量。 这种方法在复杂专业文档上失败，因为： 块边界破坏上下文：跨越两个块的表格失去意义。 相似性 ≠ 相关性：关于"Q3 净收入"的查询可能检索到听起来相似的"Q2 总收入"段落，而非实际答案。 无可解释性：你无法追踪为什么检索到某个块。 昂贵的基础设施：向量数据库（Pinecone、Weaviate、Milvus）增加延迟、成本和运营复杂性。 PageIndex 是什么？ PageIndex 由 VectifyAI 开发，是一种 代理型、上下文内树索引，使 LLM 能够对长文档执行 基于推理的、类人检索。它不使用向量，而是构建文档的语义目录树结构，并使用树搜索导航到最相关的部分。 核心哲学 相关性需要推理。 PageIndex 模拟人类专家如何导航复杂文档：他们查看目录，推理哪些部分相关，深入挖掘，并迭代直到找到答案。PageIndex 使用 LLM 驱动的代理自动化这一过程。 PageIndex 如何工作 步骤 1：树结构生成 PageIndex 将 PDF（或 Markdown）文档转换为层次 JSON 树： ...