百度蜘蛛ip段详解百度蜘蛛在IIS日志中

2019-05-14 18:13:21 来源: 柳州信息港

1 : 百度蜘蛛在IIS日志中留下200 0 64的百度官方解答

本文的动身点:近我的站出现蜘蛛抓取返回200 0 64,因此开始搜索资料分析这些状态码,搜索蜘蛛抓取返回200 0 64的期间看到了很多不靠谱的答案,更有甚者说这是K站前兆,所以决定附上官方聊天记录转告大家1个官方的回答。

直接告知大家蜘蛛返回200 0 64代码的缘由:

站开启了GZIP。

蜘蛛返回200 0 64完全是正常现象,大家完全没有必要惶恐!

下面有百度站长平台工作人员的回答截图:

近期因站长平台加入了页面优化建议功能,没有进行过GZIP紧缩的站点都会提示使用GZIP。

所以会有更多的站长搜索这个问题,希望大家多多转载,不要让谎言散布。

2 : 关注百度蜘蛛IP 近距离了解站点收录情况

众所周知,百度蜘蛛,是百度搜索引擎的1个自动程序,它的作用是访问搜集整理互联上的页、图片、视频 等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您站的页、图片、视频等内容。分析和了解百度蜘蛛你可以很直观的掌握自己站点收录情况,当你了解百度蜘蛛和其对应蜘 蛛IP的含义后,你不再必要在不知情的情况由于站点迟迟不为百度收录而烦恼,也不会由于百度短暂的快照不更新而放弃本来1颗坚持建站的心,那么剩下的就 只有肯勤奋的付出,坚持原创,坚持外链,站点可观的收录和理想的排名将成为瓜熟蒂落的事,这1切只由于你深入了解百度蜘蛛。

那末我们通过什么方式去了解1个个搜索引擎的蜘蛛程序呢?

其实很简单,每个蜘蛛程序就犹如1个用户,他对任意站点的访问,都特别访问的轨迹,linux主机下我们完全可以透过站主机日志文件去视察和分 析各大搜索引擎的蜘蛛来访情况,并根据来访Ip去分析和判断当前站点具体收录情况,了解和分析站点目前所存在的问题,诸如:URL是不是符合蛛蛛抓爬习 惯,t文件是否是设置公道,站结构是不是公道等。本文主要以百度蜘蛛作为分析和介绍对象,从而帮助站长能更好的针对自己的站点进行SEO优化和推行。

首先,我们先来看看1下具体的日志截图(该截图来源于本博客站)

百度蜘蛛IP分析

透过以上截图可以得知百度蜘蛛来访时以Baiduspider名称显现,并且来访IP存在多个,那么多的百度蜘蛛IP到底分别是代表啥呢?

在百度站长平台《百度spider介绍》1文中已有相应的解释、并且清楚的说明百度不同的产品使用不同的user-agent

本人在此也不具体分解,有了解必要的朋友可以去参看原文,原文地址:

今天想给大家介绍的主要是百度蜘蛛IP、从本博客的站点日志截图可看出,Baiduspider是多个IP来访的,那末具体分

为哪几类蜘蛛、具体有代表啥意义呢?

1、代表性沙盒蜘蛛IP:

123.125.68.* 这个蜘蛛常常来,别的来的少,表示站可能要进入沙盒了,或被者降权。

220.181.68.* 每天这个IP 段只增不减很有可能进沙盒或K站。

2、代表性正常蜘蛛IP:

220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访,准备抓取你东西。

121.14.89.* 这个ip段作为度过新站考察期。

203.208.60.* 这个ip段出现在新站及站点有不正常现象后。

210.72.225.* 这个ip段不中断巡查各站

125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分,是新上线站较多,还有使用过站长工具,或SEO综合

检测酿成的。

220.181.108.95这个是百度抓取首页的专用IP,如是220.181.108段的话,基本来讲你的站会每天隔夜快照,

错不了的,我保证。

220.181.108.92 同上98%抓取首页,可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页

基本24小时放出来。

123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或搜集文章。

220.181.108.91属于综合的,主要抓取首页和内页或其他,属于权重IP 段,爬过的文章或首页基本24小时放出来。

220.181.108.75重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP 段,爬过的文章或首页基本24

小时放出来。

220.181.108.86专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或收集文章。

123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或搜集文章。

220.181.108.89专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

220.181.108.94专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

220.181.108.97专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

220.181.108.80专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

220.181.108.77 专用抓首页IP 权重段,1般返回代码是304 0 0 代表未更新。

123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或收集文章。

220.181.108.83专用抓取首页IP 权重段,1般返回代码是304 0 0 代表未更新。

注:以上IP尾数还有很多,但段位1样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你搜集文章或拼

文章暂时被收录但不放出来.(意思也就是说待定)。

220.181.108.*段IP主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,24小时内放出来和隔夜快照

在了解蜘蛛IP对应的作用和含义后,我们如何判断百度到底有没有收录或抓取站点内容呢?大家可以根据每行日志后

抓取返回的状态响应码去分析:

1、成功抓取 返回代码是 200 0 0;

2、站没更新 返回代码是304 0 0;

3、蜘蛛来过 返回的是200 0 64

本文由《点滴互动》SEO优化 栏目整理提供,转载须注明出处,谢谢!

3 : 通过站日志了解百度蜘蛛的认可度

相信大家对百度蜘蛛都很了解,站长们都是欢迎蜘蛛的光临,但是不是真正了解百度蜘蛛的来意,相信这点大家才是非常关心的话题了,现编者根据以往视察站运行的日专给大家分享1下,不对的地方还请指正。

1、整点式爬行,这类爬行争对新站或即将要被降权的站,指的是每天24小时,每小时百度蜘蛛都会对你站首页进行爬行,并且爬行数量基本1致。这是新站当中多见的,也只对新站才会出现,这类怕行百度1定不会收录,并且快照也不会更新。这是百度对你站的1种考察,这类爬行是百度对你站首页内容的分析,站是不是有更新,更新的力度如何,内容是不是充实等等,顺便也会爬1些首页上的数据回去对比分析,并带回文章的URL路径,安排蜘蛛的下次爬取目标。另外一种就是对百度认为你站已正常了的,或因站出现问题,如服务器不稳定,页常常没法打开,页有背法问题等等,就会出现类似的爬行方式,那么你就要谨慎了,出现这类爬行方式,你的站多半会被降权。其表现为第二天首页的快照日期未更新或回滚到之前的日期,收录停止,乃至严重的会删除掉1些已收录的页。那么做为站长的你就要检查下站看那方面出了问题,并且及时修正问题就不严重了,在两3天内就是恢复。

2、 确认收录爬行,有点类似于谷歌蜘蛛爬虫,各个爬虫分工明确,有条不紊,各司其职。这类爬行方式若出现在你的站日志里,那末恭喜你,你的站已通过审核期,百度开台正式收录你的页了。确认收录爬行就是指你站有新的内容出现后,百度蜘蛛第1次爬行过后,收录是1定不会给你放出来的,这时候百度还有很多因素不能肯定,如果百度蜘蛛认为有必要进行对照计算的话,那么百度蜘蛛就还需要再进行第2次爬行,对爬取的内容与存在于索引库中的内容进行对照运算、比较计算的,文章内容是不是新鲜,与索引库中内容是不是重复等,如果认为你这个文章内容是有必要收录,百度蜘蛛会进行第3次爬行,爬行后会立即放出收录页面。如若站权重高,百度就不会重复如些动作,即1次通过,直接先放出来,然落后行排名的运算,根据运算结果得出与索引库中有高度重复文章将会渐渐删除掉,这就是为何有些站头天收录第2天就没有了,头天收录排名第1,第二天就见不到踪迹了,正是这个缘由。

3、爆发式或间隙式爬行,常常在站日志中看到百度蜘蛛能在1两分钟内爬行几百次。百度蜘蛛如此高效力的爬行,说明站在这个时段的更新效力非常高,说明百度蜘蛛已撑握了你站的更新规律,如若在此时更新文章便可到达秒收的效果,但这其实不说明站权重高,收录快,只能说是碰巧站所更新文章被百度爬行蜘蛛遇到了。有时更新的文章1个小时,乃至几个小时都没有被收录,这样只能说明站的更新没有按时更新造成,蜘蛛1离开就更新了,所以新站长们须时时关注日志,撑握百度蜘蛛来访规律加以利用方可事伴功备。

4、圈养式爬行,这就相当因此站自家养的1个蜘蛛爬虫,时时刻刻爬行于站以内,只要1有文章更新即刻爬取到传送加索引库,先给予放行,并赋予高权重,收录后搜索关键词基本在第1页,以后才进行数据对比,如若与索引库中重复,第二天后便在索引库中删除;若文章太过于垃圾或属因此绿萝算法打击的对象范围以内将会直接降权或删除处理。这类到达秒收的站才是权重高,蜘蛛爬虫几近时时刻刻为其服务。

以上是我个人根据长时间分析日专获得的相干经验与其大家分享,若有毛病的地方还请指正,站运行日志是站长得力的工具,特别是新站站长,要养成逐日必看日志的习惯,祝各位新站站长朋友早日脱离百度考察期。

转载请保存本文链接:

4 : 站长务必全面解决站缺点 减轻百度蜘蛛访问压力

站优化的工作分为很多块:外链、内链、内容、数据分析等等,其中分析iis日志也是其中的工作之1。分析iis日志的终究目的是视察百度蜘蛛每天对站的爬行情况,并通过视察总结出其中的不足,做出相应的解决方案,以求让站优化工作更完善。

分析iis日志的方法多种多样,相信各位站长不会陌生,但是现在笔者并不是为大家介绍如何分析iis日志,而是想和大家分享1下究竟哪些站缺点会让百度蜘蛛的访问压力变大。好了,空话不再多说,现在就进入正题吧。

缺点1:站存在没有得到公道处理的死链接

死链接是1种对蜘蛛非常不友好的存在,死链接的产生1般是站由于改版或更改域名以后没有及时处理旧链接而产生的,而死链接的大量存在,将会导致百度蜘蛛对站的访问压力加大。可以想象,每次百度蜘蛛兴高采烈地来到你的站上爬行链接,却接2连3遇到1些死链接的挡道,重复的情况不断出现,让蜘蛛不再信任你的站,继而也产生站不被收录的结果。

解决方案:

【1】百度站长平台如今已推出1项名为死链接提交的服务功能,我们站长应当重视这1项服务,把站上哪些无用的、冗余的死链接提交到百度上去,让百度蜘蛛认识到该链接是死链接而没必要去爬行。

【2】重定向死链接也是1种常常使用的方法,具体方法必须根据你的站的服务器决定,固然条件是站死链接数量不是太大的情况下就采取这类办法,如果数量太多,重定向就显得不那末符适用户体验了。

缺点2:误导蜘蛛的站地图

站地图的制作也是站优化必须做的1项工作,站地图如果制作得好,会有益于蜘蛛对站的爬行和收录。但是很多站长不太重视这项工作,通常都会选取1些不怎样靠谱小工具来制作站地图,致使出现1些过失,让百度蜘蛛在站上迷路。

解决方案:

笔者建议,如果站长有能力自己制作站地图就自己制作,毕竟你会比1些工具更熟习你的站;如果实在制作不出来,那末就选用1些权威性的工具来制作,如百度站长工具、站长之家工具等等,做好后仔细测试1下,尽量不要让其出现过量漏洞。

缺点3:站圈套让蜘蛛备受折磨

作甚站圈套?所谓的站圈套就是站存在某些问题,让蜘蛛在爬行站时候产生毛病,堕入站当中,继而没法走出站。通常我们很难会发现这类情况,但是我们可以通过查看iis日志或百度站长工具的压力反馈来视察,如果蜘蛛爬行压力愈来愈大,我们就要随时意想到,站可能存在1些圈套。

解决方案:

【1】站尽可能静态化。虽然百度1直表明自己的搜索蜘蛛能够很好地抓取含有动态参数url的页面,但是毕竟能力有限,如果我们的站某个页面含有过量的参数的url,那末抓取起来就是1件难事了,以下图:

如此多的参数url会让百度蜘蛛暗暗叫苦,还可能导致蜘蛛堕入这个参数黑洞中没法爬出来。因此我们做站的时候应当尽可能选用能够静态化的程序,这样才能很好地避免蜘蛛骗局。

【2】不要让蜘蛛在内链中打转。外链可以通过1层扣1层来构成链轮,内链也是可以的,很多站长为了快速提升关键词排名,不惜滥用锚文本,造成页面之间的链接轮回,导致蜘蛛不停地爬来爬去,堕入圈套没法逃脱出来。

其实,百度蜘蛛即便再聪明、智能,它也不过是由人类编写出来的1段代码而已,但是站长们也应当学会尊重百度蜘蛛,尽可能解决站存在的缺点,让其能够更好地爬行站、收录站,这样我们的站优化工作才会更加完善无缺。本文专为明星头像供稿,希望转载的朋友加上1条链接,谢谢大家支持!

5 : 电影站百度贴吧推行详解 轻松日“钓”上万IP流量

百度贴吧作为百度权重较大的1个产品,其高人气和特殊性都是其他论坛或社区没法媲美的,特别是新上映电影和热播电视剧这1块,更是其中的代表。今天就结合我自己的电影站详细介绍如何轻松日钓上万流量。

贴吧的选择

百度贴吧数量较多,而且人群差别也比较大,所以选择正确的贴吧是获得高质量流量的基础。例如我的电影站之前选择《我家有喜》这个热播电视剧,短短1天时间就取得了上万的IP流量。

那末,我们应当如果选择百度贴吧呢?首先我们可以通过百度贴吧自有的贴吧排行榜进行选择,还可以通过各大视频站查看行将热播的电视剧或电影,提早做好引流准备。

发帖技能

很多朋友都是直接在百度贴吧上留下链接,刚开始可能适用,但是随着发帖次数和发帖时间的增多,基本上后面发帖都是秒删的下场,致使很多朋友了放弃贴吧这1块大蛋糕,我1般自己用的的发帖技能有以下几种。

第1种,利用短址留链接,现在上很多可以无穷设置2级域名的短址,这就为我们带来了方便,1般我们可以设置为idu.短址.com 类似的各级域名,这样在1定程度上能发布帖子。

第2种,利用百度分享发帖,例如我的页面http://www.***.com/Dianshiju/wojiayouxi/加上分享代码,然后通过分享百度贴吧发布到相应的贴吧,目前为止这个方法为稳定,发帖成功率百分之910以上。

第3种,发布帖子成功以后利用发帖工具,将帖子尽快顶至1万帖以上,这样的帖子吧主也没有权限删除,只有被举报到更高层权限才有可能被删除。

顶贴及其他技能

在你成功发帖后,顶贴也是工作之重,1个热门的贴吧你几分钟不顶贴,就会沉到你都找不到的地方,可以利用工具将自己的帖子随时保证在首页的位置,让更多的人看到你的帖子,这样你取得的流量才是巨大的,需要注意的1点是,尽快在自己发布帖子以后占据1楼和2楼,留下你的广告或大量空白,避免他人大树底下好乘凉,盗取你的劳动成果。

还有补充1下的就是做电影,音乐等可能和版权有关的站使用国外的域名和主机,在写这篇文章之前我1个10万IP流量的电影站,域名在易名被封,申述无门,切记。

对新站或新接触的站的站长,百度已经是大战天下,我们惟有引流,靠自己,才能更好的站做起来。固然每个站长有自己的1套推行方法,本人上述几点是我的电影站奇放正在使用方案,分享给大家,仅作参考。

月经量异常怎么调理
月经量异常怎么回事
经间期出血的几种原因
本文标签: