apache-spark - 从 Airflow SparkSubmitOperator 提交 Spark 应用程序时如何设置 YARN 队列

Question

我是 Airflow 和 SparkSubmitOperator 的新手。我可以看到，当以 YARN 为目标时，Spark 应用程序被提交到“root.default”队列。

简单的问题 - 如何设置自定义队列名称？

wordcount = SparkSubmitOperator(
    application='/path/to/wordcount.py',
    task_id="wordcount",
    conn_id="spark_default",
    dag=dag
)

附言我已阅读文档:

https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/spark_submit_operator.html

谢谢

Answer 1

我现在可以看到 --queue 值来自 Airflow spark-default 连接:

Conn Id = spark_default
Host = yarn
Extra = {"queue": "root.default"}

转到管理菜单 > 连接，选择 spark default 并编辑它:
更改额外 {"queue": "root.default"}至 {"queue": "default"}在 Airflow WebServer UI 中。
这当然意味着每个队列都需要一个 Airflow 连接。