联系电话:1561-8787-321
热门资讯
头条资讯

什么是搜索引擎蜘蛛抓取比例

  断章取义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。关于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站一切页面。

 

  抓取份额的英文Google用的是crawl budget,直译是爬行预算,我觉得不太能阐明是什么意思,所以用抓取份额表达这个概念。

 

  抓取份额是由什么抉择的呢?这牵扯到抓取需求和抓取速度限制。

 

  抓取需求

 

  抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。

 

  抉择抓取需求的首要有两个要素。一是页面权重,网站上有多少页面达到了根柢页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说?#38477;?#20173;是页面权重,权重高的页面就不会太久不更新。

 

  页面权重和网站权重又是息息相关的,前进网站权重,就能使搜索引擎甘愿多抓取页面。

 

  抓取速度限制

 

  搜索引擎蜘蛛不会为了抓取更多页面,把?#24605;?#32593;站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会?#19979;?#26381;务器、影响用户访问。

 

  服务器反应速度够快,这个速度限制就上调一点,抓取加速,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至间断抓取。

 

  所以,抓取速度限制是搜索引擎“能”抓取的页面数。

 

  抓取份额是由什么抉择的?

 

  抓取份额是考虑抓取需求和抓取速度限制两者之后的效果,也就是搜索引擎“想”抓,同时又“能”抓的页面数。

 

  网站权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大。

 

  小网站没必要担忧抓取份额

 

  小网站页面数少,?#35789;?#32593;站权重再?#20572;?#26381;务器再慢,每天搜索引擎蜘蛛抓取的再少,一般至少也能抓个几百页,十几天怎样也全站抓取一遍了,所以几千个页面的网站根柢不用担忧抓取份额的事。数万个页面的网站一般也不是什么大事。每天几百个访问要是能?#19979;?#26381;务器,SEO就不是首要需求考虑的事了。

 

  大?#34892;?#32593;站可能需求考虑抓取份额

 

  ?#29976;?#19975;页以上的大?#34892;?#32593;站,可能要考虑抓取份额够不行的问题。

 

  抓取份额不行,比方网站有1千万页面,搜索引擎每天只能抓几万个页面,那么把网站抓一遍可能需求几个月,甚至一年,?#37096;?#33021;意味着一些重要页面?#35805;?#27861;被抓取,所以也就没排名,或许重要页面不能及时被更新。

 

  要想网站页面被及时、充分抓取,首先要保证服务器够快,页面够小。如果网站有海量高质量数据,抓取份额将受限于抓取速度,前进页面速度直接前进抓取速度限制,因而前进抓取份额。

英国南安普敦大学法学院
拍拍老时时 重庆幸运农场直播网站 360时时票走势老时时 三分赛网 最精准的彩票计划网址 男的让你买时时乐 2017赛车pk10公式 甘肃11选5走势 辽宁11选5前三走势图表 重庆幸运农场计划号码 吉利高手论坛网址主论坛 捕鱼游戏推荐 北京赛pk10记 36选7复式价格投注表 幸运飞艇杀码计划下载 时时360