某些时候网站是不想让谷歌蜘蛛抓取的,因为会把服务器抓崩溃,cpu负载100%,很是烦恼,现在就把谷歌蜘蛛屏蔽方法陈述出来。
方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:
if($http_user_agent ~*"Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") { return403; }
搜索引擎蜘蛛爬取记录源码