scala - FAIR 是否可用于 Spark Standalone 集群模式？

Question

我有一个带有 spark standalone 集群管理器的 2 节点集群。我在 Scala 多线程中使用相同的 sc 触发了多个作业。我发现我的作业是一个接一个地安排的，因为 FIFO 性质所以我尝试使用公平调度

    conf.set("spark.scheduler.mode", "FAIR")
    conf.set("spark.scheduler.allocation.file", sys.env("SPARK_HOME") + "/conf/fairscheduler.xml")

    val job1 = Future {
    val job = new Job1()
    job.run()
    }

    val job2 =Future {
    val job = new Job2()
    job.run()
    }


    class Job1{
        def run()
            sc.setLocalProperty("spark.scheduler.pool", "mypool1")
        }
        }

    class Job2{
        def run()
            sc.setLocalProperty("spark.scheduler.pool", "mypool2")
        }
        }



 <pool name="mypool1">
 <schedulingMode>FAIR</schedulingMode>
 <weight>1</weight>
 <minShare>2</minShare>    
  </pool>

 <pool name="mypool2">
 <schedulingMode>FAIR</schedulingMode>
 <weight>1</weight>
 <minShare>2</minShare>    
  </pool>

Job1 和 Job2 将从启动器类中触发。即使在设置了这些属性之后，我的作业仍在 FIFO 中处理。FAIR 是否可用于 Spark Standalone 集群模式？是否有页面在哪里有更详细的描述？我似乎找不到太多关于作业调度中的公平和独立。我正在关注 this SOF 问题。我在这里遗漏了什么吗？

Answer 1

我不认为独立是问题所在。您只描述了创建一个池，所以我认为您的问题是您至少还需要一个池并将每个作业分配给不同的池。

FAIR 调度是跨池完成的，同一个池中的任何东西都将以 FIFO 模式运行。

这是基于此处的文档: https://spark.apache.org/docs/latest/job-scheduling.html#default-behavior-of-pools