搜索引擎蜘蛛我们通常称它为机器人，是一种能够自己抓取网站，下载网页的程序。它可以访问互联网裼沙钔炯上的网页、图片、视频等内容，萄辉守蕾喜欢收集对用户有用的内容，而且如果他觉的你好的话，会定期来看你哦，我们要做的事情就是把它们伺候好，顺其意投其好。
工具/原料
电脑
网站
一、各大搜索引擎蜘蛛名称
1、《百度蜘蛛：baidu衡痕贤伎spider》《google蜘蛛：googlebot》《yahoo蜘蛛：slurp》《alexa蜘蛛：ia_arc茑霁酌绡hiver》《man蜘蛛:msnbot》《soso蜘蛛:sosospider》《bing蜘蛛:bingbot》《altavista蜘蛛:scooter》《lycos蜘蛛:lycos_spider_(t-rex)》《alltheweb蜘蛛：fast-webcrawler/》《有道蜘蛛：yodaobot和OutfoxBot》《inktomi蜘蛛:slurp》《搜狗蜘蛛：soguospider》《热士蜘蛛：Adminrtspider》
二、搜索引擎蜘蛛工作流程
1、蜘蛛程序分为三个部分：控制器，解析器和索引数据库。龀音孵茧1.控制器负责收集URL集合并分配URL集合给解析儡泌掩羞器。2.解析器获得URL集合后，通过访问URL并下载页面。3.索引数据库存储解析器下载的页面并分析页面内容，以此来确认是否建立数据缓存。
三、蜘蛛爬行惯性规则
1、百度蜘蛛：爬谨慎，收录更谨慎。google蜘蛛：不太爱爬，但爱收录。搜搜蜘蛛：爱爬图片，经常绕在动态地址里出不来。雅虎蜘蛛：恪守规则，每次都是先爬robots.txt。
四、robots.txt的对于蜘蛛的支持程度
1、百度的表现：写了禁止之后很少爬，但是偶尔也会爬，相信是起作用了，因为越来越少，以前一天几次现在几天一次；
2、google表现：写了禁止就不再爬，会在谷歌站长工具中列出来它想爬被你阻止了；
3、搜狗蜘蛛：可以说是基本不听话，也不知道是不是不吃这个规则，说它完全不吃它也吃了一点，只是把动态地址的问号拿掉了，然后照爬，一爬就是一大片，这不知道它能爬出什么东西；
4、搜搜蜘蛛跟雅虎蜘蛛好像差不多，感觉还是挺有效的，禁止之后没有爬过的痕迹。
五、百度蜘蛛与google蜘蛛爬行规律
1、一般来说百度搜索引擎是每周更新，网页重要性有不同的更新频率，频率在几天至一月之间，baiduspider会重新访问和更新一个网页。
2、google蜘蛛，它会访问制定的网页，收集该网页上的链接，而且会顺着这些链接找其他的网页，通过这些链接，把世界上的网页连成了一个巨大的网，所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。
3、百度蜘蛛，它的作用是访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。