小鑫优化:robots是什么有什么作用

本文谈谈robots，它的作用及运用。

介绍及作用

简言之，robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，尽管只要放在根域名目录下，未设置系统级目录访问权限的文件爬虫都可以抓取的到，但网站跟搜索引擎间如果没有协议，将使不可预知的大量信息泄露到网上，这不是双方愿意看到的。这种约定说到本质是人与人之间的君子约定。除此外，它还有跟nofollow一样提升SEO效率的功用，后面江太公展开来说。