apache-spark - 如何将 Zeppelin 连接到从源代码构建的 Spark 1.5？

Question

我从 Spark 存储库中提取了最新的源代码并在本地构建。它适用于像 spark-shell 这样的交互式 shell。或 spark-sql .

现在我想根据 this install manual 将 Zeppelin 连接到我的 Spark 1.5 .我将自定义 Spark 构建发布到本地 maven 存储库，并在 Zeppelin 构建命令中设置了自定义 Spark 版本。构建过程成功完成，但是当我尝试运行诸如 sc 之类的基本内容时在笔记本内，它抛出:

akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]

版本 2.3.4 设置在 pom.xml和 spark/pom.xml ，但仅仅改变它们甚至不会让我得到一个构建。

如果我用标准 -Dspark.vesion=1.4.1 重建 Zeppelin ，一切正常。

Answer 1

更新 2016-01

Spark 1.6 支持有 landed to master可在 -Pspark-1.6 下获得轮廓。

更新 2015-09

Spark 1.5 支持有 landed to master可在 -Pspark-1.5 下获得轮廓。

在 Apache Zeppelin(孵化)中支持 Spark 1.5 的工作是在此 PR 下完成的 apache/incubator-zeppelin#269这将很快借给主人。

目前，从 Spark_1.5 开始构建分支与 -Pspark-1.5应该做的伎俩。