kuschzzp继上次“5GB私有文档自建知识库选型”后,又引发的思考,欢迎大佬们来讨论 中发帖

上文:https://linux.do/t/topic/181830 

上文评论区大佬们提供的思路及方案都很多,有兴趣的可以去看看。
最终我选择的是ragflow二开,目前想实现 回答支持显示引用的文档图片。
我对于分块与回答的思考如下:
1.【分块】 提取PDF、word中的图片+图片周围文字,然后将word图片交由视觉模型进行描述,最后讲提取的周围文字+视觉模型描述文字,交由大模型总结出结果,这便组成了一个chunk。格式类似于:
图片URL:127.0.0.1/img
图片描述文字:这个人是张三,他穿着黑色衣服。。。。。。


【回答】:采用如下的提示词格式:

你是一个智能助手,请总结正面知识库的内容来回答问题,请列举正面知识库中的数据详细回答。
当所有正面知识库内容都与问题无关时,你的回答必须包括“知识库中未找到您要的答案!”这句话,同时回答需要考虑聊天历史。
我...