gpt4 book ai didi

apache-spark - spark2.xx 是否支持 delta lake

转载 作者:行者123 更新时间:2023-12-01 23:53:40 24 4
gpt4 key购买 nike

所以我尝试使用 delta lake write df_concat.write.format("delta").mode("overwrite").save("file") 它给了我这个错误 :

java.lang.NoClassDefFoundError:org/apache/spark/sql/connector/catalog/TableProviderdelta lake doc 说更新到 spark3 所以只想确认我们是否可以在 spark2.xx 上运行 deltalake

最佳答案

您可以使用 Delta release 0.6.1 - 支持 Spark 2.x 的最新版本。您至少需要 Spark 2.4.2 才能运行它。只需使用 --packages io.delta:delta-core_2.11:0.6.1 运行您的代码,或将其链接到应用程序

关于apache-spark - spark2.xx 是否支持 delta lake,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63132284/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com