咨询热线:0371-63697068
新闻活动

了解更多内容,请关注新思齐微信公众平台

报名热线:
0371-63697068
您当前位置:首页 >> 公司动态公司动态
大数据技术的发展趋势
发布时间:2019-12-25 浏览次数:218次

   2014年以后,整体大数据的技术栈已经趋于稳定,由于云计算、人工智能等技术发展,还有芯片、内存端的变化,大数据技术也在发生相应的变化。总结来看主要有几点发展趋势:


timg (5).jpg


    一是流式架构的更替,最早大数据生态没有办法统一批处理和流计算,只能采用Lambda架构,批的任务用批计算引擎,流式任务采用流计算引擎,比如批处理采用MapReduce,流计算采用Storm。后来Spark试图从批的角度统一流处理和批处理,Spark Streaming采用了micro-bach的思路来处理流数据。近年来纯流架构的Flink异军突起,由于其架构设计合理,生态健康,近年来发展特别快。而Spark近期也抛弃了自身微批处理的架构,转向了纯流架构Structure Streaming,流计算的未来霸主还未见分晓。


    二是大数据技术的云化,一方面是公有云业务的成熟,众多大数据技术都被搬到了云上,其运维方式和运行环境都发生了较大变化,带来计算和存储资源更加的弹性变化,另一方面,私有部署的大数据技术也逐渐采用容器、虚拟化等技术,期望更加精细化地利用计算资源。

    三是异构计算的需求,近年来在通用CPU之外,GPU、FPGA、ASIC等芯片发展迅猛,不同芯片擅长不同的计算任务,例如GPU擅长图像数据的处理,大数据技术开始尝试根据不同任务来调用不同的芯片,提升数据处理的效率。

    四是兼容智能类的应用,随着深度学习的崛起,AI类的应用越来越广泛,大数据的技术栈在努力兼容AI的能力,通过一站式的能力来做数据分析和AI应用,这样开发者就能在一个工具站中编写SQL任务,调用机器学习和深度学习的算法来训练模型,完成各类数据分析的任务。


下一篇:云计算的安全体系架构

上一篇:网络加密技术的发展前景

友情链接:   教育部产学合作协同育人项目平台   |   ATAC官网   |   新华三集团   |   红帽中国   |   全国职业院校技能大赛   |   红狐企业网   |   百度

报名咨询热线:
15037198095

Copyright © 郑州新思齐科技有限公司 www.xinsiqi.com
地址:郑州市郑东新区博学路277号正商学府广场B座503室   24小时手机:15037198095  
豫ICP备07000976号

  • ︵官方微信︶

点击这里给我发消息