广度爬行和深度爬行
广度优先：一般来说比较多在用在新站上面。蜘蛛根据网站的层次目录结构，爬行，先访问第一层 目录的页面，爬行完毕之后在爬行第二层的页面依此类推。但是这样爬行来说很多时候蜘蛛只在第一层目 录或者前几层目录爬完就走了。这样被收录的页面和网站本身的页面比例来说不是很大。是以站长要解决 这个问题一般来说要从两个方面入手，一个是增加网站权重，争取蜘蛛在广度爬行的时候也进行深度爬行 。另外是，减少目录层次，一般来说现在的开源程序和网站程序的架构也都比较好，我们建立一级栏目和 二级栏目就足够。整体的目录层次不要超过三层。这样利于蜘蛛的收录和爬行。如果网站权重不够，而发 布的内容又再较深的目录层次，应该让其在首页显示，蜘蛛来的时候可以第一时间爬行。现在各大搜索引 擎根据网站的权重大小一般都回采用广度爬行和深度爬行同时进行。
文章由佛山网站建设www.ceall.net.cn整理提供
|
新闻资讯
