DotBot是什么蜘蛛，需要屏蔽这个爬虫吗

DotBot是国外Moz旗下链接分析网站opensiteexplorer的，DotBot蜘蛛专门用来分析网站的外链数据，我也是装上了蜘蛛分析插件以后才发现这么多没什么用的蜘蛛在持续消耗我的服务器资源，好的是现在知道了，一个个屏蔽了就好了。

这个DotBot蜘蛛总的来说也没啥用，直接屏蔽。

→ 点此获取正规游戏试玩赚钱软件~

官方宣称支持robots协议，昨天添加上以后，今天凌晨1点爬了下，现在还没爬，不知道是不是确实比较自觉。

User-agent: DotBot
Disallow: /

但为了更把握一点，我们还是添加Nginx或其它WEB服务器规则禁止抓取

 

if ($http_user_agent ~* "DotBot" )
{
      return 403;
}

然后来个合集：

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
 return 403;
}

直接把大部分的垃圾营销蜘蛛都拦截。