azure - 我收到错误 "Cannot time travel Delta table to version X"，而在查看 Azure Databricks 上的历史记录时我可以看到版本 X

Question

我在 Delta Lake 有一张表，其中包含以下 tblproperties:

我正在尝试访问上个月的版本 322。

当我查看历史记录时，我可以看到:

但是当我尝试使用这样的命令访问它时:

spark.read.format("delta").option("versionAsOf", 322).load(path)

我收到此错误:

AnalysisException: Cannot time travel Delta table to version 322. Available versions: [330, 341].;

我无法理解这个问题。我正在使用 Azure Databricks。

Answer 1

我不确定是否理解这个错误。 DeltaLake 中有一个开放的拉取请求可能会解决该问题:https://github.com/delta-io/delta/pull/627 .

直到那时，Databricks 的一个人给了我一个解决方法:将 delta.checkpointRetentionDuration 设置为 X 天。这将使您的检查点保持足够长的时间来访问旧版本。

然后，您必须在增量表中启动类似的内容:

spark.sql(        f"""
        ALTER TABLE delta.`path`
            SET TBLPROPERTIES (
                delta.logRetentionDuration = 'interval X days',
                delta.deletedFileRetentionDuration = 'interval X days',
                delta.checkpointRetentionDuration = 'X days'
            )
        """
)

它将保留您的版本 X 天。