BLEXBot这个蜘蛛也是最近爬的比较厉害的一个，属于一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，所以一旦我们发现有他的抓取的踪迹，就会发现他真的是大量的抓取你的链接。
这个蜘蛛理论上除了耗费我们的服务器资源之外，也没什么坏处，但对在国内建站只面向国内用户的站长来说，屏蔽是比较好的选择。
实测这个BLEXBot蜘蛛比较自觉，使用robot协议禁止以后它就不再爬了，值得表扬。
User-agent: BLEXBot
Disallow: /还是为了防止哪天不讲武德搞偷袭，彻底在服务器规则禁止更好：
if ($http_user_agent ~* "BLEXBot" )
{
return 403;
}毕竟robot只是个协议，属于约定，尊不遵守还是看这些公司自己的设定。
DotBot是国外Moz旗下链接分析网站opensiteexplorer的，DotBot蜘蛛专门用来分析网站的外链数据，我也是装上了蜘蛛分析插件以后才发现这么多没什么用的蜘蛛在持续消耗我的服务器资源，好的是现在知道了，一个个屏蔽了 ...
SemrushBot是SEMrush的服务器搜索蜘蛛，SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。机器人抓取你的网页来解析你的网站内容，所以相关的信息在你的网站很容易索 ...
MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛，这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。所以对国内用户没 ...
最近安装了蜘蛛分析插件，发现了DataForSeoBot这个蜘蛛，每天爬几百上千的页面，搜了搜，是一个国外的seo运营公司的蜘蛛，换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作 ...
