google-cloud-dataproc - 如何在 PySpark 作业中检索 Dataproc 的 jobId

Question

我运行多个批处理作业，我想将 dataproc 中的 jobId 引用到保存的输出文件中。

这将允许所有参数日志和与结果相关的输出。缺点仍然存在:随着 YARN 中的执行器消失，无法再获取单个执行器的日志。

Answer 1

Google dataproc 的上下文通过使用标签传递到 Spark 作业中。因此，所有合适的信息都存在于 SparkConfig 中并且可以访问:

pyspark.SparkConf().get("spark.yarn.application.tags", "unknown")
pyspark.SparkConf().get("spark.yarn.tags", "unknown")

输出如下所示:

dataproc_job_3f4025a0-bce1-a254-9ddc-518a4d8b2f3d

然后可以将该信息分配给我们的导出文件夹，并使用 Dataproc 引用保存输出:

df.select("*").write. \
    format('com.databricks.spark.csv').options(header='true') \
    .save(export_folder)