memory - 在 Spark 中，作业完成后内存中还剩下什么？

Question

我使用 ./bin/spark-shell 进行了一些实验并找出了以下事实。运行作业(转换 + 操作)时，我注意到 top 中的内存使用情况。例如，对于 5G 文本文件，我做了一个简单的 filter() 和 count()。工作完成后，top 窗口中有 7g 标记为 res。我有100g内存，设置executor内存为50g。

有人知道7g是什么吗？

Answer 1

由于 Spark 在 JVM 上运行，仅仅因为 Spark 可能不再对某些内存有任何引用并不意味着该内存将被释放。即使触发了垃圾收集，JVM 也可能不会将内存释放回操作系统(这由 -XX:MaxHeapFreeRatio 等控制)。