详细的robots.txt学习方法

    关于这个正确的写法,蛋疼博客-老林参考了很多作者的写法、还有百度的文献,发现有的作者解释或者写法太过简单,造成新手不易理解,当然蛋疼博客-老林也不敢保证百分百解释得让你很明白.

    是以什么形式存在?就是一份网站和搜索引擎双方签订的规则协议书.每一个搜索引擎的蜘蛛访问一个站点时,它首先爬行来检查该站点根目录下是否存在.如果存在,蜘蛛就会按照该协议书上的规则来确定自己的访问范围;如果没有,那么蜘蛛就会沿着链接抓取.

    请牢牢记住:必须放置在站点的根目录下,而且文件名必须全部小写.Disallow后面的冒号必须为英文状态的.

    我们先来理解User-agent和Disallow的定义.

    ● User-agent:该项用于描述搜索引擎蜘蛛的名字.(1)规定所有蜘蛛:User-agent:*;(2)规定某一个蜘蛛:User-agent:BaiduSpider.

    ● Disallow:该项用于描述不希望被抓取和索引的一个URL,这个URL可以是一条完整的路径.这有几种不同定义和写法:(1)Disallow:/,任何以域名+Disallow描述的内容开头的URL均不会被蜘蛛访问,也就是说以目录内的文件均不会被蜘蛛访问;(2)Disallow:/则允许robots抓取和索引,而不能抓取和索引;(3)如果Disallow记录为空,说明该网站的所有部分都允许被访问.在文件中,至少应有Disallow记录,如果为空文件,则对所有的搜索引擎robot来说,该网站都是开放的.

    1、国内建站需要用到的常见搜索引擎robot的名称.

    有时候我们觉得网站访问量(IP)不多,但是网站流量为什么耗的快?有很多的原因是垃圾(没有)蜘蛛爬行和抓取消耗的.而网站要屏蔽哪个搜索引擎或只让哪个搜索引擎收录的话,首先要知道每个搜索引擎robot的名称.

    2、文件基本常用写法:

    首先,你先建一个空白文本文档(记事本),然后命名为:.

    (1)禁止所有搜索引擎访问网站的任何部分.

    User-agent: *

    Disallow: /

    (2)允许所有的robots访问,无任何限制.

    User-agent: *

    Disallow:

    或者

    User-agent: *

    Allow: /

    还可以建立一个空文件或者不建立.

    (3)仅禁止某个搜索引擎的访问(例如:百度baiduspider)

    User-agent: BaiduSpider

    Disallow:/

    (4)允许某个搜索引擎的访问(还是百度)

    User-agent: BaiduSpider

    Disallow:

    User-agent: *

    Disallow: /

    这里需要注意,如果你还需要允许谷歌bot,那么也是在"User-agent: *"前面加上,而不是在"User-agent: *"后面.

    (5)禁止Spider访问特定目录和特定文件(图片、压缩文件).

    User-agent: *

    Disallow: /

    Disallow: /admin/

    Disallow: .jpg$

    Disallow: .rar$

    这样写之后,所有搜索引擎都不会访问这2个目录.需要注意的是对每一个目录必须分开说明,而不要写出"Disallow:/ /admin/".

    欢迎转载【详细的robots.txt学习方法】,请注明转自:上海seo优化公司 http://www.seo-999.com/article/6346s.html!