apache-spark - Apache Spark 与 Apache Spark 2

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

4年前关闭。




Improve this question




与 Apache Spark 相比，Apache Spark2 带来了哪些改进？

从架构角度

从应用来看

或更多

Answer 1

Apache Spark 2.0.0 APIs have stayed largely similar to 1.X, Spark 2.0.0 does have API breaking changes

Apache Spark 2.0.0 是 2.x 系列的第一个版本。主要更新是 API 可用性、SQL 2003 支持、性能改进、结构化流、R UDF 支持以及操作改进。

New in spark 2:

我能看到的最大变化是 DataSet 和 DataFrame API 将合并。

与前辈相比，来自 Spark 的最新和最好的将是非常高效的。 Spark 2.0 将专注于 Parquet 和缓存的组合，以实现更好的吞吐量。

结构化流媒体是另一件大事!

这将是第一个专注于 ETL 的版本。后续版本将为 ETL 添加更多运算符和库

您可以通过 Spark release 2.0.0其中解释了以下几点的更新:

API稳定性

核心和 Spark SQL

MLlib

SparkR

流媒体

依赖、打包和操作

删除、行为更改和弃用

已知问题