gpt4 book ai didi

maven - 我们如何在pyspark中指定maven依赖

转载 作者:行者123 更新时间:2023-12-03 19:39:05 25 4
gpt4 key购买 nike

在启动 spark-submit/pyspark 时,我们可以选择使用 --jars 选项指定 jar 文件。我们如何在 pyspark 中指定 Maven 依赖项。在运行 pyspark 应用程序时,我们是否必须一直传递所有 jars 或者有更干净的方法?

最佳答案

根据 https://spark.apache.org/docs/latest/submitting-applications.html,有一个选项可以以逗号分隔的 Maven 坐标列表的形式指定 --packages

./bin/spark-submit --packages my:awesome:package

关于maven - 我们如何在pyspark中指定maven依赖,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42978976/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com