hadoop - 我们可以根据类型(MR、SPARK)将 hadoop 应用程序分配到公平调度程序队列中吗？

Question

fair-scheduler 是否支持基于应用类型的队列分配？就像所有 SPARK 作业都在 Spark_Queue 下，而 MR 作业在 MR_Queue 下一样。

Answer 1

提交/运行 Spark 作业时，您可以将 YARN 队列指定为 --queue 命令行参数、spark.yarn.queue Spark 配置参数或 SPARK_YARN_QUEUE 环境变量。