scala - 为什么 persist 在 Holden Karau 的书 "Learning Spark"中像 Action 一样使用？

Question

我正在阅读“Learning spark”，并注意到这种代码:

val result = input.map(x => x * x)
result.persist(StorageLevel.DISK_ONLY)
println(result.count())
println(result.collect().mkString(","))

这段代码真的持久化了result rdd吗？我认为在 Spark 中一切都是不可变的，但在这种情况下，看起来我们正在改变 result rdd。

这段代码不应该这样写吗？ :

val result = input.map(x => x * x)
val persistedResult = result.persist(StorageLevel.DISK_ONLY)
println(persistedResult.count())
println(persistedResult.collect().mkString(","))

书中还有很多这样的代码示例，所以让我想知道......

Answer 1

与类型转换不同，persist()应用于这个数据集。这是因为 persist 实际上只是标记 数据集。来自 Spark Programming Guide :

You can mark an RDD to be persisted using the persist() or cache() methods on it. The first time it is computed in an action, it will be kept in memory on the nodes.