apache-spark - 使用 spark-csv 在 zeppelin 中读取 csv 文件

Question

我想在 Zeppelin 中读取 csv 文件并想使用 databricks'
spark-csv 包:https://github.com/databricks/spark-csv

在 spark-shell 中，我可以使用 spark-csv

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0

但是我如何告诉 Zeppelin 使用该包？

提前致谢!

Answer 1

您需要先将 Spark Packages 存储库添加到 Zeppelin，然后才能在 spark 包上使用 %dep。

%dep
z.reset()
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven")
z.load("com.databricks:spark-csv_2.10:1.2.0")

或者，如果这是您希望在所有笔记本中都可用的内容，您可以在 Zeppelin 的解释器配置中的 spark-submit 命令设置中添加 --packages 选项，然后重新启动解释器。这应该根据 spark-shell 方法使用已经加载的包启动上下文。