有什么办法不让百度爬到我的站！_美国VPS

robots.txt 为Disallow: /

为什么还能爬到首页呢？

辽宁网友:转移到暗网
云南网友:把百度爬虫的 UA 和 IP 给 ban 掉
湖南网友:高墙墙一墙？
安徽网友:把首页改成一个空白的index.html，它就爬不到了。
香港网友:识别百度UA，把站点301重定向到 https://www.baidu.com/s?wd=你站点的关键字,让它自己爬自己。
广东网友:莫名喜感
天津网友:

if ($http_user_agent ~* "Baiduspider|googlebot|soso|bing|yahoo|sohu-search|sogou|youdaobot|YisouSpider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
return 444;
}

复制代码
添加到NGINX的server段，基本搜索引擎全封
内蒙古网友:这个你得请教我，做了几年的站，一个百度收录都没有，我就是有这个技能
广西网友:
用的ＩＩＳ如何弄. 谢谢！！！
内蒙古网友:
用的ＩＩＳ如何弄. 谢谢！！！
青海网友:robots、htaccess 都给百度蜘蛛IP办了