华东 蒋 (@user1379)服务器一直被FB,google, apply这些爬虫访问 中发帖

[1741355331732] 
如图,这是一个node服务端,一直被这些爬虫以一秒一次左右的间隔不断访问资源,把6M的带宽吃的满满的,但是又考虑到这些爬虫可能有正向作用,比如利于我们推广?robots.txt 感觉他们不一定遵守。直接锁IP又太果断,哎呀好烦,请各位佬参谋参谋,跪谢~