爬虫有哪些分类？白话说说SEO好朋友爬虫

　 域名预订/竞价，好“米”不错过

本文大纲：

1、爬虫是什么？反爬虫又是什么？

2、爬虫有哪些分类？

3、爬中流程与搜索引擎工作流程

4、http/https协议与状态码

5、robots协议

爬虫是什么？反爬虫又是什么？

这里的爬虫不是我们生活中的爬虫，如蜘蛛。这里的爬虫更多指的是网络爬虫，即我们叫它网页蜘蛛或网络机器人。当然，在SEO里，叫网页蜘蛛更多。

网络爬虫，是一种按照一定规则，自动地抓取互联网上的信息的一种程序。他有一个英文名叫spider，比如百度网页蜘蛛就叫baiduspider，那搜狗的就叫Sogou spider。

这也是我们SEO人员做网站优化排名会听说的一个词。网站为啥没收录呢？原来蜘蛛没来抓取！如何看这个爬虫蜘蛛朋友来没来呢，让技术把网站日志下载给我们，我们就可以判断了，你说算不算好朋友？

百度爬虫是什么？Baiduspider是啥？

Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到网站上的网页。百度还有哪些蜘蛛呢？如下图。最多是圈中这个，记得哈~