DotBot是什么蜘蛛,需要屏蔽这个爬虫吗

DotBot是国外Moz旗下链接分析网站opensiteexplorer的,DotBot蜘蛛专门用来分析网站的外链数据,我也是装上了蜘蛛分析插件以后才发现这么多没什么用的蜘蛛在持续消耗我的服务器资源,好的是现在知道了,一个个屏蔽了就好了。

DotBot是什么蜘蛛,需要屏蔽这个爬虫吗

→ 点此获取正规游戏试玩赚钱软件~

这个DotBot蜘蛛总的来说也没啥用,直接屏蔽。

官方宣称支持robots协议,昨天添加上以后,今天凌晨1点爬了下,现在还没爬,不知道是不是确实比较自觉。

User-agent: DotBot
Disallow: /

但为了更把握一点,我们还是添加Nginx或其它WEB服务器规则禁止抓取

 

if ($http_user_agent ~* "DotBot" )
{
      return 403;
}

然后来个合集:

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
 return 403;
}

直接把大部分的垃圾营销蜘蛛都拦截。

 

游乐星球 点此下载

相关推荐

SemrushBot是什么蜘蛛,这个爬虫怎么屏蔽

SemrushBot是SEMrush的服务器搜索蜘蛛,SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。机器人抓取你的网页来解析你的网站内容,所以相关的信息在你的网站很容 ...

BLEXBot是什么蜘蛛,需要屏蔽这个爬虫吗

BLEXBot这个蜘蛛也是最近爬的比较厉害的一个,属于一家美国的反向链接查询网站(WebMeUp)的蜘蛛程序,它会大量的抓取我们的网站链接,所以一旦我们发现有他的抓取的踪迹,就会发现他真的是大量的抓取你的链接。 ...

MJ12bot蜘蛛是什么爬虫,怎么屏蔽

MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛,这个搜索引擎名称叫做:Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的,然后用这个互联网地图数据来为企业提供互联网营销数据服务。所以对国内用 ...

DataForSeoBot是什么蜘蛛 爬虫,怎么屏蔽

最近安装了蜘蛛分析插件,发现了DataForSeoBot这个蜘蛛,每天爬几百上千的页面,搜了搜,是一个国外的seo运营公司的蜘蛛,换句话说,就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的,这些数据可以被 ...