pyspark - 如何在 Zeppelin notebook 和 pyspark 中导入 Delta Lake 模块？

Question

我正在尝试在带有 pyspark 的 Zeppelin 笔记本中使用 Delta Lake，但它似乎无法成功导入模块。例如

%pyspark
from delta.tables import *

它失败并出现以下错误:

ModuleNotFoundError: No module named 'delta'

但是，使用 delta 保存/读取数据帧没有问题。格式。使用scala spark %spark可以成功加载模块

有没有办法在 Zeppelin 和 pyspark 中使用 Delta Lake？

Answer 1

最后设法将它加载到 zeppelin pyspark 上。必须明确包含 jar 文件

%pyspark
sc.addPyFile("**LOCATION_OF_DELTA_LAKE_JAR_FILE**")
from delta.tables import *