贺兰星辰 (@HikariLan) 在 你的 RAG 系统可能正在“杀死”大模型的灵性 中发帖
当提到“如何为大模型提供大规模的可用于检索的信息”时,我们第一反应想到的大概率是 RAG 一类的解决方案,但现在我要说,基于文件系统访问(FileSystem Access)的检索方式可能远比使用 RAG 更好。
什么是 RAG?为什么需要 RAG?
**Retrieval-Augmented Generation(检索增强生成,RAG)**是一种可以允许 LLM 从大规模非结构化信息中进行语义检索的技术方案。
我们之所以需要 RAG,是因为大模型内置的知识内容可能不符合我们的需要,例如这些内容可能已经过时(因为用于大模型训练的语料库并不会随着使用者的使用而更新),亦或者我们所需要的知识由于过于精细化亦或者非互联网公开内容使得大模型无法从其语料库中获得这些信息。
在 RAG 之前,人们可能会试图将 LLM 需要知道的知识直接放入上下文中,但这同样引发了一个严重的问题,即 LLM ...