Thordata (@Thordata1) 在 折腾了个开源代理池,聊聊免费 IP 池实际能用到什么程度 中发帖

最近在做一个小采集项目,目标站限流挺狠,单 IP 一天几百请求就给你弹验证码。找了圈现成方案,最后用 jhao104/proxy_pool(GitHub 上搜就有)搭了一套,跑了两周,把实际情况记录一下,给有同样需求的人参考。 
先说结论:免费代理池能用,但只能用在“对成功率要求不高的场景”。如果你的业务丢一条数据就心疼,别用免费的,真的。下面细说。
GitHub 上搜 proxy pool 出来一堆,大多年久失修。jhao104 这个项目 star 两万多,最近还有提交,issues 里提问也有人回,文档写得算清楚。核心逻辑很直接:

定时从十几个免费代理网站抓 IP(free-proxy-list.net、proxyscrape 这些)
存进 Redis,给每个 IP 打分
定时校验,挂了就扣分,分数低于阈值就删掉
对外暴露一个 HTTP 接口,你的爬虫随取随用

代码量不大,Py...