apache-spark - 我可以在 CDH 中安装多个 spark 版本吗？

Question

我使用的是 cdh5.1.0，它已经安装了默认的 spark。但是，我想使用 Spark 1.3。我也可以把这个版本安装到cdh5.1.0吗？怎么可能设置这些？新版spark也会通过Cloudera manager监控吗？

Answer 1

是的，您可以运行任何您喜欢的 Apache Spark 版本。只需确保它是为您拥有的 YARN 版本构建的(CDH 5.1.0 为 2.3)。然后，您可以使用 spark-submit 作为 YARN 应用程序运行您的应用程序。 (参见 http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他 YARN 应用程序一样受到监控。

Spark 根本不需要“安装”，您只需运行您的应用程序即可。