hadoop - 如何与一群使用齐柏林飞艇的人一起工作？

Question

我尝试在Hadoop集群上使用Zeppelin:

1个边缘节点

1个名称节点

1个辅助节点

16个数据节点。

节点规格:
中央处理器:英特尔(R)至强(R)CPU E5345 @ 2.33GHz，8核
内存:32 GB DDR2

当有20多个人想要同时使用它时，我对该工具有一些疑问。
这主要是当我使用pyspark-1.6或2.0时。
即使我设置zeppelin.execution.memory = 512 mb 和spark.executor memory = 512 mb 还是一样。我已经尝试了一些解释器选项(用于pyspark)，例如在范围/隔离范围内的“每用户”以及其他仍然相同。使用全局选项会更好一些，但是过了一会儿我什么也做不了。我在查看Edge Node时，发现内存增长非常快。我只想将边缘节点用作访问点。

Answer 1

如果您的部署模式是yarn client，那么您的驱动程序将始终是接入点服务器(在您的情况下为边缘节点)。

每个笔记本(per note模式)或每个用户(per user模式)都会实例化一个Spark上下文，在驱动程序和执行程序上分配内存。减少spark.executor.memory将减轻群集，但不会减轻驱动程序。尝试减少spark.driver.memory。

Spark解释器可以实例化globally，per note或per user，对于您的情况，我不认为共享同一个解释器(globally)是解决方案，因为您一次只能运行一个作业。用户最终将不得不等待每个其他单元的编译，然后才能自己进行编译。