@Ein 在 AI抓取瑟瑟网站的方法 中发帖
在VPS部署了云盘,想走VPS的上行下行上传文件,这样就不用跑本地的流量还能美美看了。
其它的步骤已经跑通,目前就卡在资源检索这一步上,因为很多网站其实有一定的防护措施,比如强制打开cloudflare盾,比如年龄认证之类的,直接让codex去做容易起码有两个问题
codex自动化水平不行,搜两下直接给anti-bot了,甚至挂着动态家宽触发Google的人机验证。
codex奇妙的道德水平,在破限提示词下愿意逆向渗透,但是不愿意替你点击cf和年龄认证(尤其是这个),以及版权威胁。
其它工具的局限。Grok-search整合了grok以及firecrwal和ta那个啥,但是给出的结果不够具体到URL以及其中的描述和神秘链接,更不要说最后一程的GPT还会审查。
所以不太懂有什么好办法。我只是希望能够自动筛选一些资源 + 字幕,然后让AI搬运到云盘喵。
是不是爬虫之类的更合适?