@eggacheb用cursor写了个网页内容提取工具,带api,从而让AI能够读网页链接 中发帖

起因
因为之前用下面这个项目的时候,有使用限制,请求多了之后就会被认为是在DDoS攻击它的网址,而且提取的内容有点不太符合我的要求(无关元素有点多)。然后我就用cursor照着这个功能写了一个带api的,方便在别的项目里使用。

它将任何 URL 转换为 LLM 友好的输入,并使用 https://r.jina.ai/https://your.url 。免费提高您的代理和 RAG 系统的输出。

项目地址
因为喜欢白嫖各种容器平台,所以一般我写项目会写可以部署到vercel或者render的,所以这个项目可以一键部署到vercel。


🔗 在线演示
访问 https://web-content-extractor.vercel.app 体验在线版本。
[image]
[image]
[image]
[image]
使用体验
目前用下来看,大部分网页是可以正常提取的,除了...