返回 登录
0

Spark开源栈PM Ram Sriharsha:Apache Spark 2.0概览

【CSDN现场报道】5月13日-15日,由全球最大中文IT社区CSDN主办的“2016中国云计算技术大会”(Cloud Computing Technology Conference 2016,简称CCTC 2016)在北京新云南皇冠假日酒店隆重举行。本次大会以“技术与应用、趋势与实践”为主题,聚焦最纯粹的技术干货分享,和最接地气的深度行业案例实践,汇聚国内外顶尖技术专家,共论最新的云计算技术实践与发展趋势。

北京时间5月13日上午9:40,Databricks,Spark开源栈PM,Spark PMC成员 Ram Sriharsha带来《Spark 2.0概览》的主题演讲。首先围绕什么是Spark展开演讲,其次又介绍了在大数据中所面临的挑战,详细分析Spark近几年的演变过程。他认为Spark非常了不起,是一个很好的工具。并指出Spark基础设施复杂、在这方面的人才有限、编程很困难、扩展性困难都是大数据所面临的最大挑战。

图片描述

Databricks,Spark开源栈PM,Spark PMC成员 Ram Sriharsha

以下为演讲实录:

Ram Sriharsha给大家介绍一下Spark,它的路线图,且在大数据中面临着什么样的挑战,同时,Spark又能够帮助我们如何应对这样的一些挑战。

在2012年的时候Ram Sriharsha提出来,关于在Spark方面是怎么来做的问题,并且在那一年Spark达到了成熟的阶段,Ram Sriharsha认为Spark它是一种分布式的数据群,是一种引擎。首先,大家看到这个要实施非常容易,但是在具体的组织方面非常的复杂,在这儿的整合非常的不错,大家看到它能够进行很好的竞争,这是2012年的情况。

现在我们再回到2016年,至今已经经历了很长一段时间,现在的路线图是这样的,大约在2012年的时候达到成熟期,之后Databricks有了孵化器,2014年Spark1.0版本发布,这让大家可以很迅速地进行拓展,在Spark上有很多工作可以做。

在具体实施方面,Databricks有一些具体项目,它能拓展一些编码,2015年当时Databricks也引入了Spark的DataFrames Tungsten ML Pipelines,再看一下2016年推出的Spark2.0,它允许开发人员做什么样的工作呢,这一方面可能感兴趣的人非常多,先看一下Spark现在的意义是什么,它既是一种统一的引擎,又是拥有一个框架的基础。大家所使用的Spark,在一些平台上可以进行一些迭代,你们可以进行数据收集,再对数据进行分析,这一切构成了数据来源,因此现在Spark可以运行在很多的平台之上。

今年Ram Sriharsha觉得对Spark来说是一个非常了不起的一年,因为Databricks有了一些关于大数据数据开发的项目,Databricks进行了很多的计算,同时在去年Databricks也推出新的语言支持,在行业当中进行了推广,它的增长非常地迅猛,但是大家看一下现在的情况。

大家再看一下Spark的Committer,从2014年到2015年的12月,在全球Spark的发展都非常迅猛,对Sparker来说十分开心。因为越来越多的开发者使用Spark,他们的积极性非常高,有很多人一直在关注Spark的演变,它提供一些创新性和颠覆性的平台。

看一下具体的Spark应用,可以把它分为以下几种:

第一就是企业智能,在BI方面也包括机器的学习。

第二是有关主性发展,越来越多让大家看到时时性的应用。

因此大家可以看到Spark应用的范围是非常广泛的,总之 Ram Sriharsha觉得Spark的应用非常了不起,而且是在短时间之内让整个行业对Spark有了非常高的认知,并且大家把它当做一种非常好的工具和技术。

Spark几乎能做所有的事情,当然对Spark来说它增长的空间也非常大。原因就是大家至今还没有完全解决大数据所带来的挑战,在接下来这几年当中,开发者可以发现在过去几年大数据运用起来困难很大,这一方面后面的讲师会提很多内容,总之大数据实在是太复杂了,而且基础架构管理也非常不好用,另外可以看到对于Spark方面人员的技能技巧可能也不充分,我们缺乏这方面的人才,我们需要弥补这方面的空白,并且Spark编程也非常的困难。

最后一个挑战就是Spark可拓展性是非常好的,但是要进一步的进行拓展,可能还是比较困难的,需要一些专门的技能技巧,之后我会介绍这一方面具体的工作,刚才所提到的都是开发者所面临的大数据的挑战,必须加以解决。

由于对基础架构方面的管理非常困难,比如说设置一个典型的大数据的集群,你必须要进行以下几方面设置,对于PLC必须雇佣专业专家,对他们进行培训才能够进行设置,这对于管理层来说确实是一个很大的负担,而现在Ram Sriharsha告诉大家,在Databricks的论坛上,你们可以非常轻松地解决这个问题,因为对Spark来说,你只需点击一下就可以进行设置,能够帮助你来降低在基础架构管理方面巨大的成本,可以把他们的工作量减少,另外Ram Sriharsha也告诉大家怎么进行Spark应用。

接下来Databricks在管理方面做了很多工作,大家现在进行设置非常容易,在Cloud,Ram Sriharsha刚才提到了一个问题是要找到相关的人才很困难,Databricks的解决方案就是培养人才,Databricks设置了一些相关的学术项目,大家都可以参加,Databricks可以把信息推到很多人面前,你可以参与到Databricks的课程培训当中,Databricks做了很多事情,以确保能够培养人才。

接下来的两个问题是编程非常困难,同时要进行拓展也很困难,实际上关于编程的困难,指的是在数据科学和大数据之间有一个脱节,有的时候大家所提的是大数据的工程,但如果提到数据科学的时候,可能你就不太熟悉。有很多的技术是需要非常高的数据速度进行运作,比如说我们提高到了TB或者PB速度的时候,这时候就必须要使用Spark,怎么能把速度的缺憾得以弥补,怎么提升速率,这里的缺点你不可能一下子就达到,于是需要让大家学一种全新的语言?或者是说Databricks可以给大家弥补空白?Spark的用户如何进行拓展,而数据中心使用了大部分的数据,在这个时候大家可以来使用一些文档,但是对开发者来讲希望Databricks能够给大家提供更多的数据集,它们用起来更加方便。

所以怎么来间接扩展呢?对于Spark的使用可以采用几种方法:第一创造一种API,用尽可能简单的语言表达,并且确保在数据中心里面,它可以有不同的语言去选择,同时也要确保这个平台依然是有效的,也就是说它需要这个平台上面运行,必须在框架里面去处理,而且它们进行任务操作的时候没有太多的障碍。

另一个就是说要对于一些小的数据工具进行无缝整合,开发者需要有能够使用小数据的工具,所以Spark创建了一些模型,可以进行各种分析,有的时候你可能不见得需要特别大规模的扩展模式,当然有时候你需要根据自己的体系的要求来进行扩展,所以说种灵活性很重要。

刚才提到要创建一个尽可能简单的API,你就需要去了解到底在计算机里面应该怎样去描述,所以说你可以进行一些简单的设计,但是如果还想要进一步的优化,之前我们所提到的DataFrames,Spark从这里边学了很多,可以让Spark和DataFrames结合,它可以让开发者用同样的语言,也可以更好地应对竞争,所以说Spark在这方面的交互性非常好,但是Databricks也比较关注它的安全性,所以在整个的环境下,如何在同样的要求下又能够实现它的灵活性?

这就需要Spark的Static数据集,你可以创建一个数据集,可以用一些过滤器或者是一些应用,你可以得到一个专门用于你的用途的编程,而且这是非常有利的,你在DataFrames上也可以这样做,如果你需要更大的安全性你可以有不同的选择,也就是说他可以让你尽可能的简单,同时又可以覆盖各种不同的可选的需求。

还有一点,就是用不同的语言都可以去结合,这都是有很多的技术,Spark可以把你的语言变成自己比较喜欢的语言,这也是一种开发者经常会用到的计算方式,一般来说他跟现在所用的模块都比较类似,而且很多人都比较熟悉这样的模式,所以没有太多关于操作方面的障碍,你也可以把他进行分配,如果这个数据中心只是想进行竞争,你必须要让它变的特别简单,他们用同样的计算方法去实现你的目标,你不需要用两种不同的算法去做,所以他可以支持多种语言,比如说Kmeans可以被培训用Spark,他在这里面选择的语言是Path,一旦他接受了培训模式,就可以保存到系统里面,Path这个模式也是一样的,后续是默认这个语言来进行计算,所以你不需要再去用两种不同的算法去做自己的工作,也就是说使用不同语言的人都可以去利用这样的工具。另外一点,希望除了一些模式以外,希望能将这个模式序列化,也就是说你有这个能力可以去把他们部署在不同的地方。

Databricks可以尽可能的建立一种简单表达的数据集整合,而且各种不同的语言的算法都可以进行绑定,而且可以进行一致性可扩展的执行,且可以和一些小数据工具来进行配合。

另外一个就是怎么能够把扩展能力尽可能的加强,这也是大家比较关注的问题,所以说还是要回到最初的最基本的东西,因为你想要的是把这个速度提升数量级,你要是想特别快,比如说想提高十倍,你不可能只是依赖于原来的方法,也许能优化6%、2%,但是如果说你想达到100%或者99%就很难再依赖于传统的方法。

你必须要从根本上来做一些变化,你就需要看一下你怎么能够更好的去快速解读这些数据,比如某一个数据集的话,你需要进行一个过滤,基本上我们的代码类似这样,然后我们可以进行进一步的升级处理,绝大多数的数据库使用的也是迭代模型。

下一件事情就是说要去了解我们下一步会产生的是什么,比如说过滤器会去进行输入的过滤,如果说有一个应届毕业生,让他在十分钟之内在Java里面执行这个查询,对比一下这个查询和另外一种查询方式之间不同的区别,你可以看到基本上最后的表现会有这样的一个差距,可以看到用传统的方法和新的方法是不太一样的,为什么一个刚毕业的学生就能够打败一个拥用30年经验的研究人员,是因为其实这里面有很多虚拟的功能,而且在内存之内调动数据,而且它可以更好地去进行编码。

Whole-stage Codegen,它就像是一个关于整个排序的操作人员,要了解整个执行和运行的顺序是怎样的,那在这里面最大的一个挑战就是——Spark的路线图,现在其实可以看到,主要是因为大数据特别难以去利用,所以Spark的目的就是希望简化基础设施的管理,现在基础设施的管理非常难,Databricks希望能够使用Spark的集群,实现一键部署,而且现在的人才比较有限,编程也是比较难的。另外扩展的能力也是比较难去实现的,所以说Spark相当于扮演了一个编译器的角色,希望能够简化那些利用大数据的工作,这就是Ram Sriharsha给大家简单介绍的Spark的发展方向和运行的目的,谢谢。

更多精彩内容,请关注直播专题2016中国云计算技术大会(CCTC),新浪微博@CSDN云计算,订阅CSDN云计算官方微信公众号。

评论