apache-spark - spark.executor.memoryOverhead 和 spark.memory.offHeap.size 的区别

Question

当我在 Spark configuration 中搜索堆外时，有两个相关的属性(spark.executor.memoryOverhead 和spark.memory.offHeap.size)，我不确定这两者之间的关系。

如果我启用 spark.memory.offHeap.enabled，spark.memory.offHeap.size 是否会成为 spark.executor.memoryOverhead 的一部分>?或者这两种堆外内存是独立的(因此总的堆外内存是两者之和)

Answer 1

在这里查看我的完整答案:https://stackoverflow.com/a/61723456/6470969

简答:从当前的 Spark 版本 (2.4.5) 开始，如果您指定 spark.memory.offHeap.size，您还应该将这部分添加到 spark.executor.memoryOverhead 。例如。你将 spark.memory.offHeap.size 设置为 500M 并且你有 spark.executor.memory=2G，那么默认的 spark.executor.memoryOverhead 是max(2*0.1, 384)=384M，但您最好将memoryOverhead 增加到384M+500M=884M。