MJJ们遇到爬虫有解决方法吗?

搬瓦工机场JMS

我是超级小白,刚懂CF是啥意思

有个情况是这样,用discuz搭了一个论坛有半年了,每天十几人在线,但是在线访客1500左右,IP不过几百。
买的是vps,2核2G内存,CPU经常满,一开始觉得是VPS太差了,自从今天套了CF后几个小时就有4.5G流量肯定不正常,各位MJJ有啥好办法查找哪是爬虫并且屏蔽呢?
香港网友:我也是2H2G的VPS,就搭个影视站,一天也就100IP这样,CPU占用率一直在60%左右
一天大概跑200G流量
河北网友:安装宝塔专业版,里面有nginx防火墙和网站监控。找出爬虫UA在防火墙里拦截即可。

宝塔 28元半年专业版 ,拼团已成功进入可以直接购买
永久授权
1台:1024
3台:2288
5台:2588
10台:3888
20台:4888

拼团地址:https://www.bt.cn/1024/a1?guhxkdnk

————————————————————————
免费Nginx防火墙插件半年领取
点击领取:http://www.bt.cn/1024/a2?group_id=yjcapukz

宁夏网友:cloudflare 功能里面不是可以设置  限制UA吗

把那些不良的爬虫全禁了

———————————
阿里云双11特价
1核2G 86一年 香港1核1G1M119元  2H4G 799三年
http://t.cn/Ai3k6lUn
福建网友:cf防火墙里可以设置一下js challenge。说不定可以挡住普通爬虫。然后查查日志有没有异常,找规律,在cf上全拉黑就完事了
陕西网友:服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html
新疆网友:大佬  你这博客 一天多少IP呢。。我都进去学习了好几次了
黑龙江网友:最近一段时间,字节跳动的爬虫的事,搜一下,有对应的解决方案
广西网友:200左右吧

未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » MJJ们遇到爬虫有解决方法吗?

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏