linux - 如何使用 linux HDInsight 更改 zeppelin 的资源

Question

我之前使用过 Windows 版本的 HDInsight，它有一个选项卡，您可以在其中为 Zeppelin 设置每个工作节点的内核数和内存数。

我按照本教程让 Zeppelin 工作: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/

HDInsight 的 Linux 版本使用 Ambari 来管理资源，但我似乎找不到更改 Zeppelin 设置的方法。

• 在左侧的服务列表中，无法将 Zeppelin 选为单独的服务。当我在操作中选择“添加服务”时，它似乎也无法添加。

• 我尝试使用覆盖在 Ambari 中编辑常规 spark 配置，然后将工作节点添加到我的新配置组并增加自定义 spark-defaults 中的内核和 RAM 数量。 (然后单击保存并重新启动所有受影响的服务。)

• 我尝试使用

  编辑 spark 设置

  vi /etc/spark/conf/spark-defaults.conf
  

在头节点上，但 Ambari 未拾取它。

对于每次大约需要 1000-1100 秒的查询，Zeppelin 的性能似乎保持不变。

Answer 1

Zeppelin 不是服务，因此它不应出现在 Ambari 中。如果您致力于以这种方式管理它，您也许能够让它发挥作用 https://github.com/tzolov/zeppelin-ambari-plugin

要通过 ssh 进行编辑，您需要编辑 zeppelin-env.sh 文件。首先给自己编辑权限。

sudo chmod u+w /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh 

然后使用

编辑 zeppelin 配置

vi /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh 

这里可以配置ZEPPELIN_JAVA_OPTS变量，添加:

-Dspark.executor.memory=1024m -Dspark.executor.cores=16 

综上所述……您有什么理由不能只使用 Jupyter notebook 代替？