memory-management - spark.shuffle.safetyFraction 和 spark.storage.safetyFraction 的区别

Question

我在学习 this article on Apache Spark architecture已经有一段时间了。

根据描述，有两个安全分数:
spark.shuffle.safetyFraction 和 spark.storage.safetyFraction 分别作为 JVM 的 0.8 和 0.9 给出。
Shuffle 需要 spark.shuffle.safetyFraction 的 0.2，而 storage 需要 spark.storage.safetyFraction 的 0.6。
然而，给出的图像具有误导性。(其中一条评论证实了这一点)

我的问题是:

shuffle 和 storage 如何占用 JVM 的 0.8 和 0.9 相同内存？？
它们是共享的吗？那么，在最坏的情况下会发生什么？

我用谷歌搜索但没有得到任何关于这些的文件。
任何帮助表示赞赏! :)

Answer 1

这些配置仅供内部使用，不对外公开，​​请引用 this pull request .您可以设置 memoryFraction反而。