[!quote]+ 
我们始终致力于满足客户的不同目标。有些客户希望优化内容曝光度，而另一些客户则希望采用最严格的安全策略来保护内容。在这些不同的策略中，有多种方法可以缓解机器人流量。有些机制只是简单地表明您的偏好，并假定爬虫程序出于善意；而另一些方法则通过机器人管理解决方案直接屏蔽内容，从而实现内容的完全安全。 
我们理解在网站上维护多层保护措施会很繁琐。例如，有时您的 robots.txt 文件会声明禁止某个爬虫访问您的网站，但您的强制规则实际上并没有阻止该爬虫。当您声明的偏好设置与强制规则不一致时，一些爬虫会以此为由无视您的偏好设置或试图绕过您的强制规则。 
几年前，Cloudflare 宣布了一种更简便的方法来禁止网站上的 AI 训练，该方法通过解决以下两个层面的问题来实现：一是管理 robots.txt 文件中的值，该值指示一组固定的主要训练爬虫不要在您的网站上进行训练；二...