青衫仗剑 (@blockCloth) 在 Scrapy 爬取 Amazon 时,经常出现验证码问题,求助各位佬 中发帖
佬们,求助一下,帮帮小弟我 :lark_029: :lark_029:。我使用 Scrapy 爬取 Amazon,并且已经配置了动态代理(每次请求更换 IP),同时也配置了 Cookie 来管理会话数据。当我爬取大约 30-50 个页面后,系统就会疯狂出现验证码验证界面。
但是当我不使用代理时,爬取两三百个页面才会出现验证码这些。
有没有佬遇到过类似问题吗?能否提供一些优化方案,或者如何避开验证码?