哈尔滨城城-专业哈尔滨seo优化团队 QQ:577785827

百度蜘蛛的爬行和抓取原理

     相信所有seoer都知道搜索引擎用户来爬行和访问页面的程序被称为蜘蛛(spider)或者我们也可以称之为机器人(bot)。搜索引擎蜘蛛访问网站页面时就好比我们普通用户使用的浏览器。蜘蛛程序发出页面访问请求后,服务器返回到HTML代码,蜘蛛程序把收到的代码存入到页面数据库。
    为了抓取网上尽可能多的页面。搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也是搜索引擎蜘蛛名称的由来。
   最简单的爬行策略分为两种,一个是深度优先,另一个是广度优先。
   所谓深度优先,指的是蜘蛛沿着发现的一个链接一直向前爬行,知道前面再也没有其他链接,在返回到第一个页面,沿着另一个链接再一直往前爬行。
    广度优先是指蜘蛛在一个页面发现多个链接时,不是顺着一个链接一直先前爬行,而是把所有页面的第一层链接全部爬完,然后沿着第二层页面发现的链接爬向第三层页面。
    从理论上讲,无论是深度优先还是广度优先,只要给蜘蛛足够的时间,都能爬完整个网站。不过在实际工作中,蜘蛛的宽带有限,不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录的互联网的一小部分。由此可见,理论上蜘蛛能爬行和抓取所有页面,但实际上不能。seoer要想让自己更多的页面被收录,就要想方设法的吸引蜘蛛来抓取。


标签:baiduspider
分类:seo优化| 发布:hrbseoadmin| 查看: | 发表时间:2012/6/14
原创文章如转载,请注明:转载自哈尔滨城城 http://www.hrbseo.net/
本文链接:http://www.hrbseo.net/143.html

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Design By 哈尔滨seo | 沪ICP备11005206号-1 | 百度地图 | Power By Z-Blog 1.8 Walle Build 100427.