各位佬，最近要搭建一个知识库，数据来源的话初步想法： 

本地文件
数据库
（搜+爬）网上资源

第一种类型的数据资源基本都是非结构化数据，所以初步想法就是利用各种市面上的工具进行集成到系统中去（比如MinerU等）。 
第二种类型的数据资源接入的话，是做出各种不同数据库的插件对数据进行处理接收。 
第三种类型的数据我还是比较头疼的，目前确实没什么好的想法。因为在网上采集数据我一直认为是比较麻烦的一件事情。 
并且从网上获取数据之后可能会出现采集到的页面里面出现嵌套页面，然后就会有血缘问题要处理，另外如果页面里面出现了新的网页链接还需要进行派生回采。 
不知道各位佬有什么好的想法吗？ 
进站以来这么久第一次发技术贴，本人技术深度浅薄还望各位佬友不要笑话 🥺