Thordata (@Thordata1) 在 免费代理池跑了一个多个月,更新一下后续 中发帖
之前发过那个帖子(用 jhao104/proxy_pool 搭免费代理池),一个多月过去了,更新下情况,顺便记录几个后来加的改进。有想照抄的可以看完再动手,能少走点弯路。
先说结果:池子还在跑,没挂,但中间差点弃坑。
刚跑一周多的时候问题就来了。最明显的是池子质量越来越差,get 拿到的代理十个里能用的两三个,比刚搭好的时候差了不少。想了想原因,应该是免费源抓回来重复的死 IP 越攒越多,校验又不够频繁,低分代理清得慢。
第一版改的就是校验。原来项目自带的定时校验间隔挺长,我给它缩短了,另外在校验的时候加了一步真实业务探测——不光要代理能访问百度(项目默认是请求个网站测通断),还要能成功访问我实际采集的那个页面才算活。改完之后有效代理占比明显上来了,毕竟“代理是通的”和“代理对你的目标站是通的”是两回事,这个坑我踩了之后才想明白。
第二个问题是并发拉取太慢。requests 一个一...