apache-spark - 如何在 Airflow 中将 Spark 作业属性传递给 DataProcSparkOperator？

Question

我正在尝试使用 Airflow 的 DataProcSparkOperator 在 Dataproc 上执行 Spark jar .该 jar 位于 GCS 上，我正在动态创建 Dataproc 集群，然后在新创建的 Dataproc 集群上执行此 jar。

我可以使用默认设置的 Airflow 的 DataProcSparkOperator 执行此操作，但我无法配置 Spark 作业属性(例如 --master 、 --deploy-mode 、 --driver-memory 等)。
从 Airflow 的文档中没有得到任何帮助。也尝试了很多东西，但没有成功。
帮助表示赞赏。

Answer 1

要通过 DataProcSparkOperator 配置 Spark 作业，您需要使用 dataproc_spark_properties 范围。

例如，您可以设置 deployMode像这样:

DataProcSparkOperator(
    dataproc_spark_properties={ 'spark.submit.deployMode': 'cluster' })

在 this answer你可以找到更多细节。