gpt4 book ai didi

python - 如何将外部 python 库添加到 HDFS?

转载 作者:可可西里 更新时间:2023-11-01 16:28:55 25 4
gpt4 key购买 nike

有什么办法,如何添加外部库,如 this one进入高清?pyspark 似乎需要外部库才能将它们放在 hdfs 上的共享文件夹中。拜托,因为我使用的是 shellscript,它使用外部库运行 pyspark 脚本,所以无法导入它们。

见帖子 here关于 ImportError。

最佳答案

您可以使用 --py-files 选项添加外部库。您可以提供 .py 文件或 .zip。

例如,使用 spark 提交:

spark-submit --master yarn --py-files ./hdfs.zip myJob.py

检查相应的文档:Submitting Applications

关于python - 如何将外部 python 库添加到 HDFS?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45371360/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com