AhrefsBot蜘蛛是一个比较常见的垃圾蜘蛛，它是Ahrefs网站的蜘蛛，而Ahrefs网站是国外一家比较有名的营销网站，也是大家做外贸网站SEO可能会用到的外链查询分析网站，对大部分网站来说都没什么用，所以我是选择屏蔽这个爬虫的。
值得表扬的是AhrefsBot蜘蛛确实遵循robot协议，我昨天屏蔽的，今天就没有任何AhrefsBot爬虫的痕迹。
User-agent: AhrefsBot
Disallow: /将以上代码添加到robot.txt文件里面即可很方便的屏蔽掉。
当然为了防止后期它哪一天不讲武德，还是附上通过修改Nginx或其它WEB服务器规则禁止抓取的代码：
if ($http_user_agent ~* "AhrefsBot" )
{
return 403;
}禁止IP的做法我觉得没什么意义，IP变动太简单了。
最近个一个小站装上了蜘蛛分析的插件，不装不知道，装完才发现，一些垃圾蜘蛛大大占用了服务器资源，包括但不限于AhrefsBot、MJ12bot、BLEXBot、SemrushBot这些营销蜘蛛。 他们来纯粹是为了爬数据，不会给你带来丝毫 ...
simple urls插件最近是越更新越臃肿，各种功能是强大了起来，但其实用不了那么多。 其实更新也无所谓，但最近的更新，让我的网站直接报错了，所以只好找了个旧版本的安装上，这下更爽了，还很清爽，有需要的可以安装 ...
今天在编写广告代码的时候，需要增加几个空格，但一般来说我们网站后台的广告代码填写框，你直接按空格键是没有任何作用的，所以还是需要添加几个HTML的空格代码。 这些空格有多种写法可以参与，代码如下： 写法一： ...
最近用宝塔面板搭建了一个 zblog 网站响应速度非常慢，明显没达到预期的速度，不清楚是什么问题。 折腾了良久，也没有找到办法，最后在粤帮粤顺这个博客上找到了答案： 我们在宝塔面板里面找到我们的网站文件，打开 ...
