您的位置: 网界网 > 新闻 > 正文

为什么Spark在云计算中开始流行?

2015年07月24日 11:28:28 | 作者:邹铮编译 | 来源:网界网

摘要:在过去一个月,云计算和商业计算领域的主要供应商都声称计划投资于Apache Spark数据分析项目。那么,Apache Spark为什么这么吸引供应商呢?

标签
云计算
数据分析
Spark

在最近几个月供应商对Apache Spark的兴趣和投资急剧上升,这将让云计算[注]用户受益

在过去一个月,云计算和商业计算领域的主要供应商都声称计划投资于Apache Spark数据分析项目。那么,Apache Spark为什么这么吸引供应商呢?

因为Apache Spark是有着广泛应用的新兴技术,这也是另一个可在云计算中赚钱的项目。

Spark的魅力

在最近几个月以下公司宣布投资于Spark:

· IBM公司:除了添加Spark支持到其Bluemix PaaS[注]外,IBM还准备贡献其SystemML机器学习算法构建技术到Spark。

· 微软公司:添加Spark支持到Azure HDInsight(其云托管版本的Hadoop)

· 亚马逊:其弹性MapReduce服务不仅将能够运行在Scala中开发的Spark应用程序,还可以运行Python和Java开发的Spark应用程序。

· 华为:华为最近推出了名为Astro的项目,该项目主要是将Spark、Spark SQL和HBase整合到单个产品。Spark已经被应用在华为基于Hadoop的FusionInsight产品,这是华为提供的新兴云平台服务。

Spark的魅力在于它在Hadoop内提供强大的内存内数据处理组件,用于同时处理实时和批时间。在雅虎公司,即Hadoop最初发展的地方,Spark已经成为分析操作的基石。

对于上述公司,Spark为其云计算业务提供了关键的组件,无论有还是没有Hadoop(虽然通常有)。随着价格战争接近尾声,云计算供应商之间的竞争开始围绕提供以前局限于数据中心的功能。现在我们正处于这样的阶段,越来越多的企业数据在云计算中产生。

展望未来

Spark的未来发展方向至关重要(+微信关注网络世界),很多对该项目未来方向的讨论会对Spark如何部署作为云计算资源产生潜在的影响。

Spark的企业开发者Databricks公司计划对Spark进行改进,其Tungsten项目对Spark利用内存分配来提供性能的方式进行了重大改造。。这不仅将有利于Spark开发人员,还将惠及所有提供Spark即服务的供应商。

讽刺的是,Spark在云计算越流行,它将越直接威胁到Databricks本身的商业模式以及其Spark产品。上述列出的其他主要供应商的产品可能没有相同程度的交互性,但他们肯定会更直接地补充Spark工作负载。

Spark还需要在其他方面更加成熟,包括文档记录、商业支持和中间件集成,以及编写更多Spark应用程序。大部分这些工作都非常适合Spark的企业贡献者和赞助商,除非说,他们的贡献只是为了确保Spark可以在他们的云计算中运行。

参考资料

1.云计算:(Cloud Computing)描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算是继1980年代大型计算机到...详情>>

2.PaaS:平台即服务(Platform as a Service,简称)是一种云计算服务,提供运算平台与解决方案堆栈即服务。在云计算的典型层级中,平台即服务层介于软件即服务与基础设施即服务之间...详情>>

[责任编辑:孙可 sun_ke@cnw.com.cn]

我也说几句