@josenlou 在 当卖盾的开始卖矛，Cloudflare推出爬虫工具 中发帖
Cloudflare 3 月 10 日推出 /crawl endpoint，一个 API 呼叫就能爬完一整个网站，自动发现子页面，回传 HTML、Markdown 或结构化 JSON。
[IMG_5961]
我就想问当初那个批评Google 用爬虫训练 AI 是滥用垄断，指控 Perplexity 无视 robots . txt的人设去哪里了？