Jayczee新手记录一次爬取fedex物流信息的经历 中发帖

周末的时候运营要求确定一些单号的状态,而本人只是一名单纯CRUD er,没有深入了解过这方面的东西,非常地感兴趣,这次自己摸索并实践了一个简单爬虫,非常兴奋,觉得学到了很多,欢迎各位佬进行指导或讨论讨论。 
需求:对大量Fedex物流单号(8000个左右)进行物流状态的爬取,确定其状态属于Label Created还是Delivered
以下记录个人尝试方案以及结果:

使用官方API(暂时略过)

自己负责的项目没有对接过Fedex,需要现学,容易踩坑,但是可以参考公司其他项目,使用其他项目的配置,作为备选项。

代码调用Fedex物流查询页面使用的接口

失败。通过F12发现https://api.fedex.com.cn/track/v2/shipments 返回了主要的物流信息,但是直接调用会触发403,即便添加了Cookie,UA等必要参数。

Jsoup获取页面信息,分...