𝒴ℴ𝓁ℴℬ𝒾𝓇𝒹 (@FxxkYolo) 在 准备开发一个本地文档RAG工具,各位佬友有啥需求? 中发帖
目前在工位比较闲,想自己做个项目练练手,想问问大家对它没有需求,有啥需求。
简单来说,以前的RAG可能只能处理纯文本的文档或者文档里面的纯文本内容,但是面对一些包含表格、图像之类的多模态文档,这种方法处理起来肯定是精度不够的,目前自己想到的一些需求如下:
必须要省Token,对于常规的的基于知识图谱的RAG来说,几乎每个块都需要提取里面的实体、关系,这种方法在文档较多的时候会耗费大量Token,构建过程也很费时间,因此,尽量需要思考一下其他Pipeline,尽量不使用这种方法。
实时性不要太差,也就是中间不要塞太多调用LLM进行评估之类的操作,查询之后让用户不要等的太久。
覆盖场景尽量全面一点,我自己想到了三种可能存在的查询场景,第一种是可能用户意图是直接查询某个文档中的某个图像,找他的信息,第二种可能是比较类型,需要并行检索两种,第三种可能是本地的DeepResearch这种
目...