DataForSeoBot是什么蜘蛛 爬虫，怎么屏蔽

最近安装了蜘蛛分析插件，发现了DataForSeoBot这个蜘蛛，每天爬几百上千的页面，搜了搜，是一个国外的seo运营公司的蜘蛛，换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说，对于被抓取的网站本身来说，无任何价值，甚至有数据被采集的负面影响。

这还有啥说，果断屏蔽啊！

怎么屏蔽DataForSeoBot蜘蛛？

官网宣称DataForSeoBot爬虫支持robots.txt协议，但其实这货不怎么守规矩，robots.txt禁止以后，还爬的飞起。

所以建议需要屏蔽这个蜘蛛的，两手抓：

1、robots.txt协议禁止爬取

User-agent: DataForSeoBot
Disallow: /

2、通过修改Nginx或其它WEB服务器规则禁止抓取

if ($http_user_agent ~*  "DataForSeoBot/1.0" )
{
      return 403;
}

3、通过禁止蜘蛛IP方式禁止访问

这个办法不推荐，蜘蛛IP有不少，还会新增改变，很难全部禁止掉。

总结：禁止DataForSeoBot爬虫最佳办法就是直接在服务器规则里面禁止，效果最好。