MJ12bot这是什么蜘蛛?如何屏蔽MJ12bot蜘蛛?

  • MJ12bot这是什么蜘蛛?如何屏蔽MJ12bot蜘蛛?已关闭评论

最近新的网站上线,这两天查看日志,发现有一个MJ12bot的陌生蜘蛛,频繁访问我的网站,这个是什么蜘蛛呢?

MJ12bot这是什么蜘蛛?如何屏蔽MJ12bot蜘蛛?

百度了一下相关问题,这个是国外的一个seo监测蜘蛛,爬行相当耗费资源,且对国内用户不提供服务,国外的网站还有点用。

所以在国内我们的解决办法很简单,直接干掉!

屏蔽MJ12bot蜘蛛方法:

简单粗暴,robots.txt里添加一下限制指令就可以了。

  1. User-agent: MJ12bot
  2. Disallow: /