apache-spark - 谷歌云 dataproc --files 不起作用

Question

我想在提交 spark 作业时将一些属性文件复制到 master 和 worker，
所以如文档中所述，我正在使用 --files 复制执行程序工作目录上的文件。
但下面的命令没有复制执行程序工作目录中的任何内容。所以有人有想法请分享。

gcloud dataproc jobs submit spark --cluster=cluster-name --class=dataproc.codelab.word_count.WordCount --jars=gs://my.jar --region=us-central1 --files=gs://my.properties -- gs://my/input/ gs://my/output3/

Answer 1

根据 official Spark documentation , 当 Spark 在 Yarn 上运行时，Spark executor 将使用 Yarn 配置的本地目录作为工作目录，默认为 - /hadoop/yarn/nm-local-dir/usercache/{userName}/appcache/{applicationId} .
所以根据你的描述，如果它出现在那里，那么它就会按预期工作。