python - 没有 SQLContext 的 pyspark 中的 clearCache

Question

考虑 pySpark documentation对于 SQLContext 表示“从 Spark 2.0 开始，它已被 SparkSession 取代。”

如何在不使用 SQLContext 的情况下从内存缓存中删除所有缓存的表？

例如，spark 是一个 SparkSession 而 sc 是一个 sparkContext:

from pyspark.sql import SQLContext
SQLContext(sc, spark).clearCache()

Answer 1

我不认为 clearCache 在 pyspark 中除了 SQLContext 之外其他地方可用。下面的示例使用现有的 SparkContext 实例使用 SQLContext.getOrCreate 创建一个实例:

SQLContext.getOrCreate(sc).clearCache()

在 scala 中，虽然有一种更简单的方法可以直接通过 SparkSession 实现相同的目的:

spark.sharedState.cacheManager.clearCache()

Clay 提到的目录中的另一个选项:

spark.catalog.clearCache

最后一个来自 Jacek Laskowski 的 gitbooks:

spark.sql("CLEAR CACHE").collect

引用:https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-caching-and-persistence.html