AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

AhrefsBot蜘蛛是一个比较常见的垃圾蜘蛛,它是Ahrefs网站的蜘蛛,而Ahrefs网站是国外一家比较有名的营销网站,也是大家做外贸网站SEO可能会用到的外链查询分析网站,对大部分网站来说都没什么用,所以我是选择屏蔽这个爬虫的。

AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

值得表扬的是AhrefsBot蜘蛛确实遵循robot协议,我昨天屏蔽的,今天就没有任何AhrefsBot爬虫的痕迹。

User-agent: AhrefsBot
Disallow: /

将以上代码添加到robot.txt文件里面即可很方便的屏蔽掉。

 

当然为了防止后期它哪一天不讲武德,还是附上通过修改Nginx或其它WEB服务器规则禁止抓取的代码:

if ($http_user_agent ~*  "AhrefsBot" )
{
      return 403;
}

禁止IP的做法我觉得没什么意义,IP变动太简单了。

游乐星球 点此下载

相关推荐

盒子萌,一款免费的二次元wordpress博客主题

盒子萌是一款免费的二次元wordpress博客主题,看上去还是挺漂亮的,演示网站也很漂亮,功能也比较完备,有兴趣的可以看看。 演示及官方下载地址:点此进入 主题没有任何加密文件,如果你遇到有加密的文件,那么就不 ...