BaiduSpider升级了3.0抓取速度提升80%

BaiduSpider3.0升级了,抓取速度提升80%,带大家一起来看看吧。

BaiduSpider3.0
BaiduSpider升级到3.0,抓取速度提升80%

Baidu Spider上一次升级还要追溯到2010年。

那个时候,中国互联网资源急剧扩张,从百亿扩大到千亿规模,因而spider系统进行了重构,从单机互联转变为分布式计算系统。

但是有一个很大的缺点:延时严重!

而此次重构是把当前离线、全量计算为主的系统,改造成实时、增量计算的全实时调度系统,万亿规模的数据进行实时读写,可以收录90%的网页,速度提升80%!

一张图以蔽之:

Baidu Spider3.0
Baidu Spider3.0

 

一、链接发现方面

如今sipder每天发现的新链接在500亿左右的量级,而在百度站长平台提交链接是其中最为高效的,特此,工程师提醒站长不要过度提交链接,尤其是低质链接,这样才能达到更好更及时的收录效果。

二、链接抓取方面

策略上,开发了更强大的机器学习模型,来进行链接的质量预测,对库中所有的链接进行全局排序,对有价值链接的召回率提高95%!

架构上,计算性能的强劲提升,对每天新增的数百亿模块的链接,完成实时计算,延时不到1秒;开发了更强大的存储系统,面对万亿规模的数据做到实时读写。

三、时效性页面方面

中长尾站的福音!针对时效性资源,从原来的优先对新浪、网易等大新闻站进行抓取,扩大到覆盖全网的新闻、博客、论坛等站点进行快速抓取,大小站都能优待。

打破老的平稳抓取模型,采用按需抓取机制,对有时效性新资源,做到秒级抓取。

目前,每天收录的时效性资源规模,扩大到原来的3倍,达到近1亿量级!

四、死链方面

全新的死链识别模型,能识别各种协议死链、内容死链、跳转死链等低质网页。

其中无效低质网页(如被黑),通过百度站长平台提交,可加快检索屏蔽的过程。

五、建库方面

索引展现时效性提升,原来是10天左右,现在提升40%~80%不等!

最后总结一下原文中的植入广告:

Spider3.0时代

站长平台链接提交工具,可以让抓取快上加快!

站长平台死链提交工具,可以让检索屏蔽过程快上加快!

请问,你的网站验证了吗?

来源:百度站长平台

本站文章由SEO技术博客撰稿人原创,作者:无 忧创作,如若转载请注明原文及出处:https://www.ainiseo.com/suanfa/1329.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2016年6月11日
下一篇 2016年7月16日

相关文章推荐

回复 讲淘宝运营的博客

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表(13条)

  • 山鹰
    山鹰 2016年8月28日 下午3:15

    写得真好,没听课的有福了。

  • VIP-moonseo-A79-superman
    VIP-moonseo-A79-superman 2016年7月17日 下午11:52

    老师,希望您能加一下友链,vipA35群的super man。网址http://www.kevinshang.com,名字:Kevin的SEO

  • 讲淘宝运营的博客
    讲淘宝运营的博客 2016年7月15日 下午4:35

    感觉最近网站的蜘蛛来的多了,原来是升级了啊

  • 个人博客
    个人博客 2016年7月10日 下午5:09

    了解一下还是很重要的

  • 、核桃
    、核桃 2016年7月6日 下午10:02

    帅无忧老师麻烦帮我带一条友链吧 贵州seo lutaoseo.com

  • 星光
    星光 2016年7月4日 下午10:12

    求老师加友链vip33群,www.hhseo8.com 链接名:怀化seo

  • 蒂欧娜
    蒂欧娜 2016年6月30日 上午10:47

    我就是随便看看!

  • 增达信购
    增达信购 2016年6月28日 下午2:32

    虚心学习!!

  • PHP程序员雷雪松
    PHP程序员雷雪松 2016年6月24日 下午2:23

    总结很详细有用!

  • 谭州32期VIP
    谭州32期VIP 2016年6月21日 上午10:06

    可以给我提供点案例吗

联系我

由于平时工作忙:流量合作还是咨询SEO服务,请简明扼表明来意!谢谢!

在线咨询:点击这里给我发消息

邮件:wuyouseo@gmail.com 合作微信:wuyoublog

工作时间:周一至周六,9:30-22:30,节假日休息

个人微信
个人微信
分享本页
返回顶部