apache-spark - Pyspark 中是否有等效于 SQL 的 MSCK REPAIR TABLE 的方法

Question

在 SQL 中有:

REFRESH TABLE table_name

在 pyspark 中相当于:

spark.refreshTable(table_name)

那么，Pyspark 相当于:

MSCK REPAIR TABLE table_name

Answer 1

refreshTable 与 spark session 集成 catalog .

正如史蒂文所建议的，您可以使用 spark.sql('MSCK REPAIR TABLE table_name')
有个东西叫recoverPartitions (仅适用于分区表，不适用于 View )在上面的链接中。我相信这是 msck repair table 的别名版本.你可以继续尝试这个..

看到这个 ddl.scala似乎它与文档相等。
示例用法:

spark.catalog.recoverPartitions(tableName)