Galok 最近简单爬了个网站内容,一个cookie解决的,有大佬交流下、拓展一下知识吗? 中发帖

前些天要搜内容,就一个网站,老是要打开、搜索、跳转 | 我爬虫小白来的。 


核心只是要关键的几行信息,于是干脆写脚本爬一下。 每次需要什么的时候输入关键词,返回给我关键信息就好。


刚开始requests下没问题,过一天就遇到了403什么的,发现需要人机认证。


遇到cf的人机认证,用了下playwright,chrome内核启动,加载网页也是一直转。

听说这个破不了



然后就好奇我正常人工访问都行,为什么到脚本就不行,就看header ,该加的都加上,还是不行,
慢慢的看到了cookie,因为访问啥网站这个都挺关键的
于是带上cookie试试,结果成了

cookie维持的时间暂时不确定,打开一天两天可能。

🥰各位佬友有什么经验分享分享,交流玩一下
cookie_str = ""
def cookie_to_dict(cookie_str):
coo...