北海亭-最简单实用的电脑知识、IT信息技术网站

北海亭-最简单实用的电脑知识、IT技术学习个人站

当前位置: 北海亭 > 网络知识 > 网站建设 >

如何分析网站蜘蛛爬行情况的相关数据?

时间:2012-09-30 12:28来源:未知 作者:本章原创 点击:
如何 分析网站蜘蛛爬行情况 的 相关数据 ?我们在虚拟主机域名注册企业邮局管理中心,看搜索引擎网站的机器人对我们网站的爬行情况时,会看到以上列出的搜索引擎机器人产生的 非浏览器流量并未包含在其他图表中 +后的数字为成功的robots.txt访问次数,好多新

  如何分析网站蜘蛛爬行情况相关数据?我们在虚拟主机域名注册企业邮局管理中心,看搜索引擎网站的机器人对我们网站的爬行情况时,会看到“以上列出的搜索引擎机器人产生的 ‘非浏览器’流量并未包含在其他图表中 ‘+’后的数字为成功的‘robots.txt'访问次数”,好多新手朋友看不明白,其实只要你坚持分析几天,你就会发现其中的规律,在这里我们以Google蜘蛛为例,来分析一下,他的爬行数据的具体含义,希望对新手朋友们能有所帮助

  一、主要搜索蜘蛛索引

  1、Googlebot 谷歌蜘蛛

  2、Sogou Spider 搜狗蜘蛛

  3、BaiDuSpider百度蜘蛛

  4、Bspider日本一个搜索引擎蜘蛛

  5、Yahoo Slurp雅虎蜘蛛

  6、Yandex bot 俄罗斯一个搜索引擎蜘蛛

  温馨提示:360虽然发布了自己的蜘蛛,但是好像知道名字的人太少了!

  二、蜘蛛爬行数据分析

  下面是我在我的虚拟主机域名注册企业邮局管理中心,将近一段时间的蜘蛛爬行数据整理后的截图,我们一起来分析一下

网站蜘蛛爬行统计图

  1、爬行蜘蛛的名字

  2、蜘蛛的爬行数据,我们可以看到蜘蛛成功收录内容的情况,但是这是不准确的,比如九月30日与九月29日相比,搜索内容增加了一,不是说只收录了一个网页,因为蜘蛛会在前一天的基础上,去掉一些重复的内容

  3、最后是蜘蛛爬行的时间,在理需要提示大家的是,只要蜘蛛来你的网站爬行,你的内容就会被收录,虽然现在百度一直在抽风,但是百度蜘蛛只要是你的文章质量高,一段时间之后,就会被放出来,即便你的网站被降权。当然时间可能有点长,可能是一个月,也可能是两三个月,你一定要学会承受百度的虐待!嘿嘿!扩展阅读:织梦建站入门:网站后台如何上传附件

(责任编辑:IT信息技术民工)
织梦二维码生成器
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目列表
推荐内容