apache-spark - Spark : unpersist rdd before remove it from List

Question

我有一个 rdd 列表 List<JavaRDD<MyType>> . list 中的每个 rdd 都缓存在内存中。

现在我想删除其中一个列表项。我需要打电话吗 .unpersist()在它之前 .remove(index) ？

如果"is":据我所知.unpersist()使用惰性评估。我是否需要执行某些操作然后删除该项目？看起来意义不大。

请帮忙!

Answer 1

Do I need to call .unpersist() on it before .remove(index)

你可以这样做，这可能是个好主意，但如果你不这样做，它会自动处理一个对象被垃圾收集。

I need to run some action and then remove the item

绝对不是。在尚未持久化的 RDD 上调用 unpersist 没有任何问题，如果没有要删除的内容，它对您来说更好。