scala - 如何获取上传文件的路径

Question

我在谷歌云上运行一个 Spark 集群，我上传了每个作业的配置文件。使用提交命令上传的文件的路径是什么？

在下面的示例中，我如何读取文件 Configuration.properties在 SparkContext 初始化之前？我正在使用 Scala。

 gcloud dataproc jobs submit spark --cluster my-cluster --class MyJob  --files  config/Configuration.properties --jars my.jar  

Answer 1

使用 SparkFiles 分发的文件的本地路径可以使用 --files 获得机制( SparkContext.addFile 参数，SparkFiles.get)方法:

org.apache.spark.SparkFiles.get(fileName)

您还可以使用 SparkFiles.getRootDirectory 获取根目录的路径。 :

org.apache.spark.SparkFiles.getRootDirectory

您可以将这些与标准 IO 实用程序结合使用来读取文件。

how can I read the file Configuration.properties before the SparkContext has been initialized?

SparkFiles由驱动程序分发，在上下文初始化之前无法访问，并且首先要分发，必须可以从驱动程序节点访问。所以这部分问题完全取决于您将使用什么类型的存储将文件公开给驱动程序节点。