AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

AhrefsBot蜘蛛是一个比较常见的垃圾蜘蛛,它是Ahrefs网站的蜘蛛,而Ahrefs网站是国外一家比较有名的营销网站,也是大家做外贸网站SEO可能会用到的外链查询分析网站,对大部分网站来说都没什么用,所以我是选择屏蔽这个爬虫的。

AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

→ 点此获取正规游戏试玩赚钱软件~

值得表扬的是AhrefsBot蜘蛛确实遵循robot协议,我昨天屏蔽的,今天就没有任何AhrefsBot爬虫的痕迹。

User-agent: AhrefsBot
Disallow: /

将以上代码添加到robot.txt文件里面即可很方便的屏蔽掉。

 

当然为了防止后期它哪一天不讲武德,还是附上通过修改Nginx或其它WEB服务器规则禁止抓取的代码:

if ($http_user_agent ~*  "AhrefsBot" )
{
      return 403;
}

禁止IP的做法我觉得没什么意义,IP变动太简单了。

游乐星球 点此下载

相关推荐

wordpress插件,给登陆添加一个拼图验证

毫无疑问,现在的拼图验证验证码,能有效的防止机器人去暴力破解你的后台密码,那对于571分享家这种不怎么懂技术的,自然还是用一个插件比较合适。 这里推荐一款WordPress拼图验证插件WP Forms Puzzle Captcha, ...

宝塔面板使用umami搭建个人网站统计程序

最近因为一些原因,想要抛弃第三方的统计,自己搭建一个统计来玩,网上看了不少教程,决定使用umami来搭建个人网站统计程序。 首先我们在搭建好的宝塔面板里面,进入软件商店,搜索安装“Docker管理器”。 然后下 ...