gpt4 book ai didi

apache-spark - Pyspark 中是否有等效于 SQL 的 MSCK REPAIR TABLE 的方法

转载 作者:行者123 更新时间:2023-12-04 01:08:38 25 4
gpt4 key购买 nike

在 SQL 中有:

REFRESH TABLE table_name

在 pyspark 中相当于:
spark.refreshTable(table_name)

那么,Pyspark 相当于:
MSCK REPAIR TABLE table_name

最佳答案

refreshTable 与 spark session 集成 catalog .

正如史蒂文所建议的,您可以使用 spark.sql('MSCK REPAIR TABLE table_name')
有个东西叫recoverPartitions (仅适用于分区表,不适用于 View )在上面的链接中。我相信这是 msck repair table 的别名版本.你可以继续尝试这个..

看到这个 ddl.scala似乎它与文档相等。
示例用法:

spark.catalog.recoverPartitions(tableName) 

关于apache-spark - Pyspark 中是否有等效于 SQL 的 MSCK REPAIR TABLE 的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56169722/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com