转载

Apache Spark 1.4.1 发布,开源集群计算系统

Apache Spark 1.4.1 发布,此版本是个维护版本,包括一些稳定性修复(DataFrame API, Spark Streaming, PySpark, Spark SQL 和 MLlib),基于 Spark 1.4 分支。强烈建议所有用户升级到最新版本,此版本贡献开发者有 85 人。

Spark 1.4.1 现已提供在 下载页面 。

更新内容

Data Sources and DataFrames

  • SPARK-8804 : Order of UTF8String is not consistent with String if there is any non-ascii character in it

  • SPARK-8406 : Race condition when writing Parquet files

  • SPARK-8329 : DataSource options parser no longer accepts ‘_’

  • SPARK-8368 : ClassNotFoundException in closure for map

  • SPARK-8470 : MissingRequirementError for ScalaReflection on user classes

  • SPARK-8358 : DataFrame explode with alias and * fails

MLLib

  • SPARK-8151 : Pipeline components should correctly implement copy

  • SPARK-8468 : Some metrics in RegressionEvaluator should have negative sign

  • SPARK-8736 : GBTRegressionModel shouldn’t threshold predictions

  • SPARK-8563 : IndexedRowMatrix.computeSVD() yields the U with wrong numCols

PySpark

  • SPARK-8202 : Infinite loop during external sort

  • SPARK-8573 : Trigger exceptions when invalid operators are used

  • SPARK-8766 : Support non ASCII characters in columns

SparkR

  • SPARK-8506 : Support for Spark packages when initializing SparkR

  • SPARK-8085 : Support for user defined schemas when reading from data sources

更多内容请看 发行说明 。

Apache Spark 是一种与Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽 管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

Apache Spark 1.4.1 发布,开源集群计算系统 Apache Spark 1.4.1 发布,开源集群计算系统

正文到此结束
Loading...