宝塔面板网站屏蔽谷歌蜘蛛 禁止某些蜘蛛爬取

某些时候网站是不想让谷歌蜘蛛抓取的，因为会把服务器抓崩溃,cpu负载100%，很是烦恼，现在就把谷歌蜘蛛屏蔽方法陈述出来。

方案1：首先你得拥有一个宝塔防火墙，直接在防火墙里找到：User-Agent过滤，然后添加以下规则内容：(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)

方案2：在宝塔面板找到对应的网站，点击设置，点击配置文件，加入以下代码：

if($http_user_agent ~*"Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") { return403; }

Nginx内部标志UA的变量为 $http_user_agent，想要屏蔽某个UA，找到其它UA的关键词，按上面的设置即可。