MJ12bot蜘蛛是什么爬虫，怎么屏蔽

MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛，这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。所以对国内用户没什么用，选择屏蔽即可。

MJ12bot也是一个宣称自己遵守robots规则的爬虫，但小编我实测他还是无视了，国外的这种爬虫真的是不讲武德。

→ 点此获取正规游戏试玩赚钱软件~

所以还是双管齐下。

1、robots文件屏蔽

User-agent: MJ12bot
Disallow: /

2、NG等服务器规则屏蔽

if ($http_user_agent ~*  "MJ12bot" )
{
      return 403;
}

网上看很多人说是遵循robots规则的，但我一个站昨天就屏蔽了，今天9点多还在爬，所以还是直接服务器规则屏蔽来的直接。