scala - 如何在 HDP(Hortonworks 数据平台)中安装 Scala 库

Question

提前感谢您花时间阅读本文，抱歉我的英语不好。

我正在尝试使用 Spark 流进行实时数据处理。我在 HDP(Hortonworks 数据平台)中安装了 Spark，对于我的流程，我需要为 JSONparsing 安装一个 scala 库。我在互联网上阅读了很多关于此的内容，但它只是针对一个简单的 Spark Cluster，而不是针对 HDP 和 CDH 之类的解决方案，我尝试调整该解决方案但我做不到，我找不到任何 scala 文件来安装它.有人知道可以帮助我的解决方案或提示吗？谢谢

Answer 1

要在 Zeppelin 中加载 Spark 的依赖项，您需要创建一个新单元并使用以下内容:

%dep
// it's a good idea to do a reset first, but not required
z.reset()
// the following line will load directly from the Maven online repo
z.load("org.apache.spark:spark-streaming-karka_2.10:1.6.1")

可以在此处找到有关加载 Zeppelin 依赖项的其他详细信息: https://zeppelin.apache.org/docs/latest/interpreter/spark.html#3-dynamic-dependency-loading-via-dep-interpreter

这里没有的一点是，依赖加载必须是您在笔记本上运行的第一个单元格，如果不是，它会给您一条错误消息。要解决此问题，请单击解释器选项卡并单击重新启动 Spark 解释器，然后返回到您的笔记本并使用 %dep

运行单元格