DataForSeoBot是什么蜘蛛，封禁有什么影响

摘要：今天无意中看到一个蜘蛛快速爬取一个网站。蜘蛛程序的名称是 DataForSeoBot。一些网站抓取了数以万计的 IP。这将大大降低网站的性能。它对我们国内的蜘蛛和客户开放。网页的速度影响很大，让我们看看DataForSeoBot蜘蛛在哪里，有哪些IP段，如何拦截。 IP/服务器信息 157.90.130.52 Germany Saxony Free State 这是国外IP，大部分遵循robots协议

今天无意间看到有个蜘蛛在快速的爬取网站，蜘蛛的名称是DataForSeoBot，有的站爬取多达上几万IP，这样会大打网站性能的折扣，对于咱们国内的蜘蛛和客户打开网页的速度有很大的影响，下面咱们看下DataForSeoBot蜘蛛到底是哪里的，IP段都有哪些，怎么去封禁

IP/服务器157.90.130.52的信息 德国 萨克森自由州 这是国外的IP，大部分都是遵循 robots协议

既然是国外的蜘蛛爬虫，应该是遵循robots协议吧，就去robots里面加了

User-Agent: DataForSeoBot Disallow: /

然后你会惊奇的发现，有时候还会爬取，但是这个不一定，有的网站就不会爬取了，但是我的网站依然在爬取，我很生气，感觉这个蜘蛛这家公司太不要那个碧莲了 ，然后我决定封禁他的IP段，我比较习惯用宝塔，所以在宝塔——软件商店——第三方应用，搜索Nginx免费防火墙来封禁IP

如下图：

把你想要封禁的IP输入到黑名单里就可以了，或者在配置里封禁

nginx配置文件，

nginx配置文件， Server { …… if ($http_user_agent ~ "DataForSeoBot/1.0" ) { return 403; }