robots协议是什么意思

robots协议是什么意思，robots文件的作用是什么，正确的写法是怎样的，robots协议也称之为爬虫协议，全称是：Robots Exclusion Protocol，通过robots.txt规则可以设置网站哪些内容允许收录，哪些内容不允许收录，甚至可以设置允许百度收录，不允许谷歌收录，网站robots.txt怎么写，需要注意什么，什么情况下需要robots协议，什么情况下不需要robots协议。

robots.txt是存在于网站根目录的一个文本文件，在文本文件里可以设置收录规则，搜索引擎会根据robots的规则进行抓取，robots设置为不允许抓取的，搜索引擎则不会抓取，博主的段文杰SEO博客就没有设置robots文件，没有设置robots协议的情况下，代表网站内容允许所有搜索引擎抓取，允许所有搜索引擎抓取网站的任何一个目录，这样做的缺点是存在一些安全隐患。

一般情况下90%以上的网站都设置了robots协议，利用robots协议屏蔽掉网站的一些隐私路径，确保网站更加安全，通过robots协议，还可以设置搜索引擎只收录静态URL，而不允许收录动态URL，保证网站URL的统一性，robots协议还可以屏蔽任何一个搜索引擎，如果不想让某个搜索引擎收录你的网站，可以利用robots协议屏蔽掉某个搜索引擎，robots文件虽小，作用却很大。

但是需要说明的一点是，robots协议并不是强制性的规则，未必每个搜索引擎都会尊重这个规则，robots协议好比是挂在办公室门口的“闲人免进”，挂在超市门口的“请勿吸烟”，谁都不敢保证每个人都不会闯进办公室，也不敢保证每个人都不会在超市吸烟，虽然robots协议不是强制性的规则，建议站长还是应该给网站设置一个专属的robots协议，毕竟不遵循规则的只是少数。