python - 如何将外部 jar 库导入 Hortonworks 中的 ZEPPELIN？

Question

我有一个 HDP 2.5 集群，我正在使用 ZEPPELIN 的 %pyspark 解释器来生成代码。

我想使用一个库来帮助在 python、java 和 scala 中处理 Spark 中的时间序列分析，在此处指定:https://github.com/sryza/spark-timeseries

问题是我不知道如何将这个库导入和使用到我的 ZEPPELIN %pyspark 解释器。

首先，我下载了名为“sparkts-0.2.0-jar-with-dependencies.jar”的 .jar 文件。接下来，我将它保存在 ZEPPELIN 运行的集群节点中的/opt/目录中。

然后，我尝试使用 %dep，但它在我当前版本的 HDP 中已被弃用，所以我在 ZEPPELIN“解释器”菜单中添加了一个依赖项，这样:

我重新启动了解释器并在 ZEPPELIN 笔记本中尝试:

%pyspark

import sparkts

但是我得到一个错误:

ImportError: No module named sparkts

所以我的问题是:我如何导入和使用这个 .jar 文件在我的 HDP 集群中使用 ZEPPELIN 进行时间序列分析？

非常感谢!

Answer 1

由于它是一个 Python 库，如果您使用像 YARN 这样的资源管理器在集群顶部运行 zeppelin，您需要在集群的每个节点上 PIP 安装它，作业可以在集群的任何节点上运行，并且您'使用像 Livy 这样的翻译来分配你的工作。如果该库无法通过 PIP 获得，您可以通过运行 setup.py(如果有的话)来安装它，或者作为最后的手段将 jar 文件直接提供给 Pyspark shell，例如 spark-shell --jars(不是 Zeppelin 的解决方案)虽然)