搜索引擎蜘蛛找到网页后能不能抓取
发布者: 华企立方 发布时间:2016-5-9 15:21:33
搜索引擎蜘蛛找到网页后能不能抓取。首先,要明确一点的是网页的URL必须是可以被抓取的,如果没法搜索引擎没法抓取到网页URL,那只能说明这个网站废了,所以要确保网页是否能被抓取。一般来说URL都是可以被抓取的,如果你的网页是由数据库动态生成的,那么URL要做伪静态处理,也就是说站长要去掉URL里带有问号参数之类的东西,我见过很多网站都没有去掉这类的参数,最终出现搜索引擎不信任这类URL,所以为了避免这样的现象发生最好还是做好优化。
如果你网站上有大量的flash文件,建议去掉或者做改善,经验告诉了我搜索引擎很难读取上面的内容,而且这种也称为蜘蛛陷阱。可能现在百度这块在解决读取flash信息的问题,但目前为止估计是行不通了。另外还要去避免框架结构frame,现在很少有网站做框架结构了,要记住一点千万别做,这是蜘蛛的大敌。
更多资讯来源于:佛山网站建设www.ceall.net.cn
此文关键字: