shrugginG 在 获取指定网站的内容应该使用哪个MCP 中发帖
很多网站我让Claude帮我访问然后根据内容进行回答,Claude会说很多网站存在robots.txt,他无法获取网站的具体内容,现在哪个MCP获取指定URL中页面的内容体验最好,我看了一些Playwright MCP一些类似的浏览器自动化类MCP,不过他们好像重点关注的都是浏览器的一些自动化操作,好像不是很契合