hadoop - YARN "Fair Scheduler"如何使用spark-submit配置参数

Question

我有一个关于 YARN“Fair Scheduler”的基本问题。根据the definition “公平调度程序 - 公平调度是一种将资源分配给应用程序的方法，以便所有应用程序平均随着时间的推移获得相等的资源份额”。

以下是我的理解和疑问。

(1) 如果多个应用程序在 YARN 上运行，那么它将确保所有应用程序在一段时间内或多或少地获得相等的资源份额。

(2) 我的问题是，如果在 YARN 中这个属性设置为 true 那么如果我们在提交 spark-submit 时使用以下配置会有什么不同吗？

   (i)   driver-memory
   (ii)  executor-memory
   (iii) num-executors
   (iv)  executor-cores

如果我在使用 spark-submit 时提到这些 conf 参数会发生什么？这些参数是否会被接受并根据请求分配资源，或者这些 conf 参数将被简单地忽略并且 spark 应用程序将由 YARN 基于公平调度分配一些默认数量的资源。

如果这个问题需要任何其他说明，请告诉我。谢谢

Answer 1

实际上，Fair Scheduler 比这复杂得多。在顶层，资源被组织成池/队列，每个池/队列都可以有自己的权重和内部调度策略，这不是 necessarily fair (如果需要，您可以使用 FIFO 调度)。

此外，公平调度并不意味着提交的应用程序将立即获得所需的资源共享。如果应用程序被提交到一个繁忙的集群并且无法分配请求的资源，它将不得不等到其他应用程序完成，或者使用抢占机制(如果启用)释放资源。

• 与 spark-submit 一起使用的参数声明运行应用程序所需的资源量。问题的“什么”部分
• 公平调度员的工作是在可能的情况下分配这些资源。它的配置决定了可以分配给队列或应用程序的资源量。这是问题的“如何”部分。

如您所见，这两件事并不相互排斥，提交参数是有意义的并被接受。通常请求的资源量不能超过集群上可用的资源量，否则作业将失败。您还应该将其保持在特定队列的资源共享之下。