apache-spark - 内存配置对公平调度器真的重要吗？

Question

我们有一个配置了公平调度器的 hadoop 集群。我们过去常常看到这样的场景，即集群中没有多少作业要运行，正在运行的作业试图占用尽可能多的可用内存和内核。

对于公平调度程序，执行程序内存和内核对 spark 作业真的很重要吗？还是取决于公平调度程序来决定给多少？

Answer 1

Fair Scheduler 的政策是分配给它的第一个作业将拥有提供的所有资源。

当我们运行第二个作业时，所有资源将被划分为(可用资源)/(作业数量)

现在主要关注的是，您为运行作业提供了多少容器内存。如果它等于可用资源的总数，那么您的工作确实可以使用所有资源。