北海亭-最简单实用的电脑知识、IT技术学习个人站移动版

　　如何分析网站蜘蛛爬行情况的相关数据?我们在虚拟主机域名注册企业邮局管理中心，看搜索引擎网站的机器人对我们网站的爬行情况时，会看到“以上列出的搜索引擎机器人产生的 ‘非浏览器’流量并未包含在其他图表中 ‘+’后的数字为成功的‘robots.txt'访问次数”，好多新手朋友看不明白，其实只要你坚持分析几天，你就会发现其中的规律，在这里我们以Google蜘蛛为例，来分析一下，他的爬行数据的具体含义，希望对新手朋友们能有所帮助

　　一、主要搜索蜘蛛索引

　　1、Googlebot 谷歌蜘蛛

　　2、Sogou Spider 搜狗蜘蛛

　　3、BaiDuSpider百度蜘蛛

　　4、Bspider日本一个搜索引擎蜘蛛

　　5、Yahoo Slurp雅虎蜘蛛

　　6、Yandex bot 俄罗斯一个搜索引擎蜘蛛

　　温馨提示：360虽然发布了自己的蜘蛛，但是好像知道名字的人太少了!

　　二、蜘蛛爬行数据分析

　　下面是我在我的虚拟主机域名注册企业邮局管理中心，将近一段时间的蜘蛛爬行数据整理后的截图，我们一起来分析一下

　　1、爬行蜘蛛的名字

　　2、蜘蛛的爬行数据，我们可以看到蜘蛛成功收录内容的情况，但是这是不准确的，比如九月30日与九月29日相比，搜索内容增加了一，不是说只收录了一个网页，因为蜘蛛会在前一天的基础上，去掉一些重复的内容

　　3、最后是蜘蛛爬行的时间，在理需要提示大家的是，只要蜘蛛来你的网站爬行，你的内容就会被收录，虽然现在百度一直在抽风，但是百度蜘蛛只要是你的文章质量高，一段时间之后，就会被放出来，即便你的网站被降权。当然时间可能有点长，可能是一个月，也可能是两三个月，你一定要学会承受百度的虐待!嘿嘿!扩展阅读：织梦建站入门：网站后台如何上传附件