scala - Zeppelin 集群模式不适用于 spark 1.2 Ambari、Hortonworks Cluster

Question

我正在尝试部署一个集群并在其上运行一些示例 Spark/scala 代码，虽然当我在独立模式下使用默认参数使用 zeppelin 时一切正常，但我无法让它在集群模式下工作。我尝试在 spark 中使用 spark-class 和 start-master 标准 shell 文件手动创建 spark 集群，然后通过 spark://.. Zeppelin 的 URL，但是在运行代码后，我不断收到不同的异常错误(例如缺少 java sys.process._ 库)，一段时间后，spark worker 的状态在 Spark MasterUI 中变为 DEAD

我还尝试将 yarn-client 而不是 spark-URL 放入 zeppelin spark.home 变量中，但它没有产生类似的错误。

你能帮我在 Ambari 集群上部署 zeppelin 和/或提示我做错了什么吗？

Answer 1

对于 Zeppelin 与 Ambari 的集成，请使用此 ambari-zeppelin-service来自 Hortonworks。

它有很好的文档记录，也可以在集群模式下工作。