raxcl 在 某恋爱话术 app 的爬虫经历与思考(含脚本) 中发帖
背景
月末五六年前接触到这类 app 的破解版,用过一段时间,还是有些许价值的,
最近 ai 爆火,想着能不能找到类似的数据库,尝试练个大模型出来。
时光荏苒,在网上找了数次,磁力搜索,网盘搜索,github 搜索,源码搜索
最终找到了小程序源码、网页源码、app 源码,可独独没有数据库资料
唯二的两份数据库,一份在某源码网,300rmb,一份在某闲鱼,2000rmb
摸摸囊中羞涩的口袋,痛定思痛,决定试试爆火已久的爬虫技术
初尝禁果
在某论坛拿到了恋爱话术 app 破解版
类似如下截图:
[图片]
通过 Reqable 抓包分析,拿到 搜索接口:
https://www.xxx.com/api/search?kw=在干嘛
并且不用登录,就很 nice
唯一比较遗憾的是,每次搜索,只有 5-10 条数据,且不能分页
这就导致数据量爬不全,只能依靠大量入参,尝试获取...