@wll通用的网站数据采集器,怎么实现 中发帖

有没有哪种通用的网站爬虫呢,能自动分析网站的结构,数据抓取,或者佬们能不能提供一些思路,想学习一下