最近想做某一个品类的市场调研，需要采集一些评论数据。一开始打算采集的是热门视频的评论区，在 AI 大人的加持下，不到半天就解决了。抖音也蛮大方的，不登录也能看到评论数据，Amazon 还得老号才能看 10 条以上的评论 🙃 
主要的风控集中在首页，IP 不干净没法进入首页。但直接在 url 上拼接搜索参数就绕过了（感觉有点草台），快速访问多个关键词链接还是会进入 10 分钟左右的小黑屋。评论区几乎没有风控。 
 [image] 
但采集下来有发现问题：真正有价值的评论不多。评论区充斥着纯 emoji、引流广告和重复刷屏的信息（甚至多语言），我还得非老大劲去清洗。 
 [image] 
而且最终筛选出的评论也不一定能反映真实需求，有些可能只是被推送到的云受众，纯娱乐消遣，过个嘴瘾。 
于是转战 shop 评论区，shop 有具体的国家站点，能更好的研究目标地区的受众画像。而且真实购买的用户评...