MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛，这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。所以对国内用户没什么用，选择屏蔽即可。
MJ12bot也是一个宣称自己遵守robots规则的爬虫，但小编我实测他还是无视了，国外的这种爬虫真的是不讲武德。
所以还是双管齐下。
1、robots文件屏蔽
User-agent: MJ12bot
Disallow: /2、NG等服务器规则屏蔽
if ($http_user_agent ~* "MJ12bot" )
{
return 403;
}网上看很多人说是遵循robots规则的，但我一个站昨天就屏蔽了，今天9点多还在爬，所以还是直接服务器规则屏蔽来的直接。
DotBot是国外Moz旗下链接分析网站opensiteexplorer的，DotBot蜘蛛专门用来分析网站的外链数据，我也是装上了蜘蛛分析插件以后才发现这么多没什么用的蜘蛛在持续消耗我的服务器资源，好的是现在知道了，一个个屏蔽了 ...
SemrushBot是SEMrush的服务器搜索蜘蛛，SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。机器人抓取你的网页来解析你的网站内容，所以相关的信息在你的网站很容易索 ...
BLEXBot这个蜘蛛也是最近爬的比较厉害的一个，属于一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，所以一旦我们发现有他的抓取的踪迹，就会发现他真的是大量的抓取你的链接。 这 ...
最近安装了蜘蛛分析插件，发现了DataForSeoBot这个蜘蛛，每天爬几百上千的页面，搜了搜，是一个国外的seo运营公司的蜘蛛，换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作 ...
