老铁吗,蜘蛛把2t硬盘爬光了,怎么屏蔽

搬瓦工机场JMS

User-agent:Googlebot
Disallow:/

这个并不管用

$useragent = strtolower($_SERVER[‘HTTP_USER_AGENT’]);
        if (strpos($useragent, ‘googlebot’)){
                exit();
        }

也不管用
        if
        ($http_user_agent ~* "qihoobot|Googlebot|^$")
        {
                return 403;
        }
还是不管用
安徽网友:上宝塔  用插件屏蔽
上海网友:问题是已经在运行的 ,换bt不现实啊
江苏网友:啥网站啊 不能备份出来换服务器一天?
新疆网友:下午蜘蛛来爬,结果蜘蛛还不爬,哈哈
广西网友:把我硬盘爬没了。。
河北网友:直接封IP段不就行了
宁夏网友:服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html
澳门网友:我到是希望蜘蛛爬我,可惜权重太低,根本没蜘蛛感兴趣
湖北网友:没有IP识别意义不大,UA可以伪造的
海南网友:没有IP识别意义不大,UA可以伪造的
台湾网友:屏蔽IP段就是
安徽网友:deny 46.229.168.0/24;
这样吗,依旧无效
陕西网友:采集假冒的蜘蛛ua吧。

海南网友:套上cf后,怎么识别访客ip?
内蒙古网友:爬虫跟硬盘有什么关系
湖北网友:爬的日志多?定期删了就行了啊
澳门网友:x-forward那个参数吧,在nginx 或者apache里面配置
辽宁网友:貌似和权重关键不高,我以前有个站百度权重1,但是蜘蛛爬的我VPS都挂了,还以为是被攻击了呢。

未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » 老铁吗,蜘蛛把2t硬盘爬光了,怎么屏蔽

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏