gpt4 book ai didi

google-cloud-dataproc - 使用 Spark --jars 选项将 PySpark 作业提交到集群

转载 作者:行者123 更新时间:2023-12-04 19:32:51 25 4
gpt4 key购买 nike

我希望能够在提交 PySpark 作业时指定 --jars PySpark 提交选项。但是不支持此选项。有替代方案吗?

最佳答案

感谢您提出这个问题,您似乎发现了一个错误,我们还没有连接必要的标志;其目的确实是在控制台 GUI 和 gcloud beta dataproc jobs submit pyspark 中提供一个 --jars 选项,我们希望能够部署一个在几周内修复下一个次要版本。

与此同时,您可以尝试将任何 jarfile 依赖项简单地转储到主节点和/或工作节点上的 /usr/lib/hadoop/lib/ 中,可能使用 initialization actions在集群部署时自动下载 jar 文件,然后它会自动出现在您的 Spark(和 Hadoop)作业的类路径中。

关于google-cloud-dataproc - 使用 Spark --jars 选项将 PySpark 作业提交到集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32819617/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com