Jlon 在 Based on Crawl4AI - AI友好的文档爬取工具 中发帖
昨天问佬友们怎么爬取网页建立知识库,佬友给推荐了这个话题,看了看还不错
于是我把 Crawl4Al这个项目交给了cursor,做了一个完善一些的爬取工具
支持基本的网页和PDF爬取
提供JSON和Markdown输出
生成的Markdown内容比较美观
通过指令能够方便的切换爬取深度和输出目录
本人代码一窍不通,完全是靠着cursor推进,希望佬友们可以开发出更好用的工具