apache-spark - Apache Zeppelin 是否足够稳定以用于生产

Question

我正在使用 AWS EMR 集群。我一直在尝试使用 Spark Drivers 和 Apache Zeppelin Rest API 来运行作业。我已经使用 Zeppelin 运行了数百个临时工作并且没有任何顾虑。鉴于这一事实，我正在考虑在生产中使用 Zeppelin Rest API。将使用 Rest API 提交作业。

有没有人在生产中遇到 Zeppelin 的稳定性问题？

Answer 1

我有一个 zeppelin 在多用户环境(+/- 15 个用户)中运行，它不是很稳定。为了让它更稳定，我在它自己的节点上运行 zeppelin，不再在主节点上运行。

无论如何，我发现了以下问题:

在 0.7.2 之前的版本中，Zeppelin 创建了很多僵尸进程，在大量使用后会导致内存问题。

用户库可能会破坏 Zeppelin，在 0.7.0 之前的版本中就是这种情况。例如。 Jackson 库使 Zeppelin 无法与 Spark 解释器通信。在 0.7.0 及更高版本中，此问题已得到缓解。

当有很多用户时，会出现随机卡住。解决此问题的唯一方法是重新启动服务。 (所有版本)

有时，当用户启动他的解释器并且本地存储库为空时，zeppelin 不会下载解释器配置中指定的所有库。然后它不会再次下载它们，缓解这种情况的唯一方法是删除解释器的本地存储库的内容。 (所有版本)

有时笔记本上的更改不会被保存，这会导致用户丢失代码。

在 0.6.0 版本中，spark 解释器共享一个上下文，这导致用户相互覆盖变量。

问题很难调试，日志记录还不是很好。一些错误似乎会破坏日志记录，有时在 Debug模式下运行解释器可以解决问题。

所以，我不会把它放在人们依赖它的生产环境中。但是对于测试和数据发现来说，它会很好。 Zeppelin 显然仍处于测试阶段。

也不要在主节点上运行它，而是设置您自己的实例并让它远程连接到集群。这使它更加稳定。把它放在一个强大的节点上并在一夜之间重新启动它。

我遇到的大多数错误已经在 J​​ira 上，开发人员正在努力使事情变得更好。每个版本的稳定性都变得越来越好，我看到每个版本的维护负载都在下降，所以它肯定有潜力。