TwKit

推文

@UPing123zzz · 2026-10-17 16:49

RAG 可能真的不需要向量数据库了。 最近发现一个很有意思的开源项目:PageIndex,GitHub 已经接近 4 万 Star。它提出了一种完全不同的 RAG 思路:Vectorless RAG(无向量 RAG)。 我们现在做 RAG,基本都是先把 PDF、Word 等文档切成 Chunk,再做 Embedding,存进向量数据库,用户提问的时候根据相似度检索相关内容,最后交给大模型生成答案。但这里有个一直被忽略的问题:语义相似,不代表内容真的相关,更不代表它能回答用户的问题。尤其面对几百页的财报、法律合同、技术手册,单纯靠相似度检索,很容易遗漏真正重要的上下文。 PageIndex 的思路就很有意思。它不依赖向量数据库,而是先把文档整理成一棵树,保留章节、标题、页码和层级关系,再让 LLM 像人翻书一样,根据问题判断应该去哪个章节,逐层查找相关内容,最后回到原文寻找证据。以前是让数据库帮你找相似的文字,现在是让模型理解文档结构,自己决定应该去哪里找答案。 我觉得这个项目最值得研究的,不是它不用 Embedding,也不是它不用向量数据库,而是它改变了检索的思路。Retrieval 的核心不应该只是 Similarity,而应该是 Relevance。 找到一段看起来相关的文字,和找到真正能够回答问题的证据,是两回事。 当然,这不意味着传统 RAG 就被淘汰了。对于高频 FAQ、海量碎片化知识,Hybrid Search 依然很有价值。但面对长文档、复杂企业知识库,PageIndex 这种基于文档结构和推理的检索方式,确实值得研究。 我越来越觉得,做企业 RAG,真正需要下功夫的可能不是最后接哪个大模型,而是前面如何解析文档、组织知识、检索证据,以及如何验证答案。 开源项目: https://github.com/VectifyAI/PageIndex

曝光 80 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 57.94288203146573

TwKit
正在载入