SemrushBot 这个流氓蜘蛛真够贱的

We'r VPS 发布于 2020-04-08
分类：VPS交流
阅读(381)
评论(0)

Mozilla/5.0+(compatible;+SemrushBot/6~bl;++http://www.semrush.com/bot.html)
一个彻底的流氓蜘蛛，不遵守robots协议。用安全狗设置了禁止访问，依旧没完没了爬！
最后把这蜘蛛来访设定成301到他自己网站去，没几分钟就消失了。这蜘蛛真特么贱