scala - Spark : unpersist RDDs for which I have lost the reference

Question

如何取消在我没有引用的 MLlib 模型中生成的 RDD？

我知道在 pyspark 中，您可以使用 sqlContext.clearCache() 来取消所有数据帧的持久化，除了 scala API 中的 RDD 之外，还有类似的东西吗？此外，有没有一种方法可以只取消部分 RDD，而不必取消所有 RDD？

Answer 1

您可以调用

val rdds = sparkContext.getPersistentRDDs(); // result is Map[Int, RDD]

然后过滤值以获得您想要的值 (1):

rdds.filter (x => filterLogic(x._2)).foreach (x => x._2.unpersist())

(1) - 手工编写，没有编译器 - 抱歉，如果有一些错误，但不应该有;)