Thordata (@Thordata1) 在 接着上次的代理池,说说我拿它攒了份训练数据集 中发帖
之前那个免费代理池的帖子发出去后,陆陆续续有人私信问,攒这玩意到底干嘛用。行吧,其实是我想凑一份中文语料,微调个7B的小模型玩。公开数据集下了一圈,总觉得不对自己口味,干脆自己采。
先叠个甲:我只碰完全公开的页面,robots.txt 里写了禁止的一律绕开。也别拿这套去怼有风控的站,风险自负,真没必要。
流程拆下来就四步:定种子URL、爬、从HTML里抠正文、清洗去重存jsonl。听着简单,每一步都能给你埋个坑。
先说抠正文。我一开始想当然,BeautifulSoup把text()一呼噜全取出来完事。跑出来一看傻了,语料里全是导航、页脚、Cookie弹窗那堆破玩意儿,正经正文没剩几句。后来才知道这活有专门说法,叫boilerplate removal,早有人造好了轮子。
试了readability-lxml和trafilatura两个,个人偏向trafilatura,正文抓得准,广...