python - 在 YARN 上运行的 Spark 如何计算 Python 内存使用量？

Question

阅读完文档后，我不明白在 YARN 上运行的 Spark 是如何计算 Python 内存消耗的。

它是否计入 spark.executor.memory、spark.executor.memoryOverhead 或在哪里？

特别是我有一个带有 spark.executor.memory=25G、spark.executor.cores=4 的 PySpark 应用程序，我经常遇到 Container 被杀死YARN 用于超出内存限制。 在 RDD 上运行 map 时出错。它在相当大量的复杂 Python 对象上运行，因此预计会占用一些非平凡的内存量，但不会占用 25GB。我应该如何配置不同的内存变量以用于繁重的 Python 代码？

Answer 1

我会尝试将内存增加到 spark.python.worker.memory 默认值 (512m)，因为 Python 代码繁重，而此属性值 不会计入 spark.executor.memory。

Amount of memory to use per python worker process during aggregation, in the same format as JVM memory strings (e.g. 512m, 2g). If the memory used during aggregation goes above this amount, it will spill the data into disks. link

Spark 中的 ExecutorMemoryOverhead 计算:

MEMORY_OVERHEAD_FRACTION = 0.10 
MEMORY_OVERHEAD_MINIMUM = 384 
val executorMemoryOverhead = 
  max(MEMORY_OVERHEAD_FRACTION * ${spark.executor.memory}, MEMORY_OVERHEAD_MINIMUM))

YARN 和 Mesos 的属性是 spark.{yarn|mesos}.executor.memoryOverhead。

YARN 杀死占用的内存超过其请求的进程，即 executorMemoryOverhead 和 executorMemory 的总和。

In given image python processes in worker uses spark.python.worker.memory, then spark.yarn.executor.memoryOverhead + spark.executor.memory is specific JVM.

Image credits

其他资源 Apache mailing thread