apache-spark - 如何检查我的 RDD 或数据帧是否被缓存？

Question

我创建了一个名为 df1 的数据框。我使用 df1.cache() 缓存了它。如何检查它是否已被缓存？还有一种方法可以让我看到所有缓存的 RDD 或数据帧。

Answer 1

您可以在 Dataframe 和 RDD 上调用 getStorageLevel.useMemory 来查明数据集是否在内存中。

对于数据框，执行以下操作:

scala> val df = Seq(1, 2).toDF()
df: org.apache.spark.sql.DataFrame = [value: int]

scala> df.storageLevel.useMemory
res1: Boolean = false

scala> df.cache()
res0: df.type = [value: int]

scala> df.storageLevel.useMemory
res1: Boolean = true

对于 RDD 执行以下操作:

scala> val rdd = sc.parallelize(Seq(1,2))
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[1] at parallelize at <console>:21

scala> rdd.getStorageLevel.useMemory
res9: Boolean = false

scala> rdd.cache()
res10: rdd.type = ParallelCollectionRDD[1] at parallelize at <console>:21

scala> rdd.getStorageLevel.useMemory
res11: Boolean = true