@wuleiwushen遇到瓶颈了,如何客服呢 中发帖

爬取一些网站,用 AI 写代码,写的很好,有都能跑起来,但是目前碰到的问题是: 

不能持续大规模的爬取,会遇到一些风控,很多都是cloudflare,很变态的,过不了
社区的很多第三方插件,很多是一股脑的模拟浏览器打开所有页面,直接获取其中的内容,没有对内容进行筛选