转载

IBM推出Apache Spark云服务

  英文原文:IBM launches Apache Spark cloud service

  显然早在今年六月份的 Spark Summit 上,当 IBM 宣布对 Spark 提供三百万美金的投资--其中还包括 3500 名研究人员的投入和在 San Francisco 建立一个 Spark 技术中心,IBM 就已经公开支持 Apache Spark。在 Las Vegas 的 IBM Insight 事件发生后的今天,IBM 宣布了 IBM Analytics 在 Apache Spark 的可行性,Spark 将为 IBM Bluemix 云的提供部分服务。

  Spark 和数据以及源代码

  通过在 Bluemix 环境中提供 Spark,IBM 将其与自身的其他云数据和数据分析服务整合,其中包括 Cloudant NoSQL 提供的数据和 dashDB 云数据存储服务。由于 Bluemix 本质上是一个开发应用程序的云,IBM 认为它在代码与数据库、大数据和分析的连接中处于一个很好的位置。并且,基于 Apache Spark 的 IBM Analytics 同样支持使用用 Python 语言的 Spark--Databricks Cloud Spark 平台上同样支持该功能。

  数据提供

  根据 IBM 发布的新闻来看,随着 Spark 的加入,IBM 推出了它所谓的 Insight Cloud Services,其特点是“能从 Twitter 和天气公司那获得关于人、事件、地理位置和商业信息等外部数据”。很明显,IBM 正尝试着提供一个完全数据分析平台,该平台能够利用外部数据来丰富用户自身的数据,然后平台利用 Spark 来分析这些丰富的数据。

  在与 Derek Schoettle(IBM 的云数据服务总经理(CDS)和之前被 IBM 收购了 Cloudant 首席执行官)交谈过程中,他展露出了对 IBM's Spark 的热情。Schoettle 解释道 Spark 不仅是一个平行的大数据处理平台,同样也可以用在处理机器学习、SQL 访问查询、图形引擎和数据流分析上(尽管是微批量处理),IBM 将 Spark 看为一个包罗万象的数据处理环境。

  根据 Schoettle 描述,这个信念是如此之强,IBM 已经在自身的某些商业和分析的产品上利用 Spark 更新迭代 15 次之多。他介绍到,以 DataWorks 产品为例,利用 Spark 降低了其源代码行数,从四千万行降低到五百万行。

  IBM 的 Spark 数据平台是粘合剂吗?

  可以负责任的说在行业里没有任何一家功能像 IBM 在数据和分析范围内覆盖如此广泛。

  要知道,IBM 旗下平台可是囊括有 DB2、Watson、Netezza、Cognos、TM1、SPSS、DataStage、Informix、Cloudant 以及 BigInsights Hadoop distribution。如果 IBM 能够将这些平台与 Apache Spark 联合起来,并且在云中加以实现,这将是一个重要的、端到端的、Spark 强大功能的具体示范和现在数据分析的生命线。

  尽管 IBM 已经消减了工作量,但对几十年内自身技术大规模的重组和接受新的技术来说非常不容易和不安全。但如果 IBM 在此次投资建设中重新焕发新春的话,他们会将再次回到大家的视野之内。

  译者/刘崇鑫审校/朱正贵责编/仲浩

  译者简介:刘崇鑫,北京邮电大学研究生在读,专业光通信工程。

正文到此结束
Loading...