归 涂 (@user283) 在 这情况如何解决:爬取招聘信息网站数据,但是一两百条数据后ip就被封禁了无法继续获取数据了,尝试随机请求头(User-Agent)也失败了。不用IP代理池,还用啥办法可以解决大批量(4-10万条数据)爬取吗 中发帖
代码如下:(如何简单修改可以爬取大量数据,求大佬教学,谢谢)
import os
import requests
import csv
import time
import random
from bs4 import BeautifulSoup
from urllib.parse import quote
模拟的User-Agent列表
USER_AGENTS = [
‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0’,
‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like...