pyspark - 在 python 中安装 delta 模块的正确方法是什么？

Question

在 python 中安装 delta 模块的正确方法是什么？

在 example他们导入模块
from delta.tables import *
但我没有找到在我的虚拟环境中安装模块的正确方法

目前我正在使用这个 Spark 参数 -
"spark.jars.packages": "io.delta:delta-core_2.11:0.5.0"

Answer 1

由于正确答案隐藏在已接受解决方案的评论中，我想我会在这里添加它。
您需要使用一些额外的设置创建您的 Spark 上下文，然后您可以导入增量:

spark_session = SparkSession.builder \
    .master("local") \
    .config("spark.jars.packages", "io.delta:delta-core_2.12:0.8.0") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

from delta.tables import *

烦人的是，你的 IDE 当然会因为这个包没有安装而对你大喊大叫，而且你也将在没有自动完成和输入提示的情况下运行。我确信有一个解决方法，如果我遇到它，我会更新。
包本身在他们的 github here并且自述文件建议您可以 pip install 但这不起作用。理论上你可以克隆它并手动安装。