shrugginG 在 爬虫在如今的LLM时代有颠覆性改变吗? 中发帖
因为目前科研的需要,在23年集中写过一段时间的爬虫,当时用的是Playwright
两年过去了LLM迎来了跨越式发展,想在想问下爬虫或者说是爬虫框架在LLM时代有什么根本性变革发生吗?比如说
FireCrawl或者Crawl4AI这些工具跟传统的Playwright,Pyputter爬虫框架到底有什么区别
现在针对一个网站(包含一些列页面),我能通过给大模型撰写提示词说明我想要重点关注的内容,然后帮我自动化执行后续的爬虫操作吗