apache-spark - Apache Spark 是在节点级还是集群级缓存 RDD？

Question

我知道 Apache Spark persist 方法将 RDD 保存在内存中，如果没有足够的内存空间，它会将 RDD 的剩余分区存储在文件系统中(磁盘)。我似乎无法理解的是以下内容:

假设我们有一个集群，我们想要持久化一个 RDD。假设节点 A 没有很多内存空间而节点 B 有。现在假设在运行 persist 命令后，节点 A 内存不足。现在的问题是:

Apache Spark 是否在节点 B 中寻找更多内存空间并尝试将所有内容存储在内存中？

或者假设节点A没有足够的空间，即使节点B有一些可用的内存空间，Spark也会将RDD的剩余分区存储在节点A的磁盘中？

感谢您的回答。

Answer 1

通常 Spark 不会搜索空闲空间。数据缓存在负责特定分区的执行器本地。

唯一的异常(exception)是使用复制持久化模式时的情况 - 在这种情况下，额外的副本将放置在另一个节点上。