什么是404页面？

    404页面是每个网站都必备的页面,它对于seo来说是非常重要的.它告诉浏览者其所访问的页面不存在、输入的链接错误或者是链接已经失效,同时引导浏览者浏览网站的其他页面,而不是立刻关闭页面或者离开.如果你的网站没有404页面,就会出现死链接,对于蜘蛛的爬行不利,当然也对网站的收录不利.

    在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了.

    Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:

    1.robots.txt必须存放在网站的根目录下.

    2.其命名必须为robots.txt

    3.Robots.txt是搜索引擎访问网站的第一个页面

    4.Robots.txt中必须指明user-agent

    以上是关于什么是robots的说明.