hadoop - 当动态分配设置为 true 时手动分配核心数

Question

我们有一个 3 节点集群。每个节点有 20 个内核和 100GB 内存。我们将动态资源分配设置为 true。

我想根据自己的意愿调整资源。

例如:

1. spark-submit 仅使用 1 个核心。默认情况下，它选择 4-6 个内核。
2. 我想为我运行的每个 spark-submit 设置它。

我怎样才能达到我的要求。

Answer 1

spark.dynamicAllocation.enabled 是应用程序的属性。它可以在每次提交时设置，使用以下之一:

• 将 --conf 选项传递给 Spark 提交。
• 在 SparkConf 对象上设置 spark.dynamicAllocation.enabled。
• 使用 SparkSessionBuilder 的 config 方法。