如何书写robots.txt

robots.txt是存在于网站根目录的一个重要文件，如果robots.txt书写错误，很有可能造成百度不收录的状况发生，那么，robots.txt应该如何书写呢，首先，robots.txt是一个文本文档，也就是我们平常说的记事本文档，从文件的后缀名称就可以看出，robots规则比较简单，一般常用的规则有两个，一个是允许收录的指令，另一个是不允许收录的指令，写法如下：

Disallow指令，代表不允许搜索引擎收录。

Allow指令，代表允许被搜索引擎收录。

百度站长平台明确指出，如果网站允许全部搜索引擎收录网站全部内容，请不要建立robots.txt文件，如果不允许某个搜索引擎收录网站内容，或者不允许某个搜索引擎收录某个URL和目录，才会用到robots.txt文件，而且百度声明：百度严格遵守robots.txt协议，只要robots文件中设置为不允许收录的，百度就不会收录，作为国内最大的搜索引擎，百度是非常负责任的。

下面是一个非常简单的robots.txt的写法，每一行是一个robots规则：

User-agent: *
Disallow: /wp-admin
Allow: /wpros

“Disallow: /wp-admin”的意思是代表不让搜索引擎收录：“wp-admin”这个URL地址，“Allow: /wpros”的意思是允许搜索引擎访问“wpros”目录，值得注意的是，在一般情况下，不用禁止搜索引擎访问网站，SEO优化本来依赖的就是搜索引擎，无论是百度，还是谷歌，或是搜狗，自然是流量来源越多越好，禁止某个搜索引擎访问是非常不理智，也是不切合实际的做法。