apache-spark - 断言错误 : assertion failed: No plan for DeleteFromTable In Databricks

Question

这个命令运行良好有什么原因吗:

%sql SELECT * FROM Azure.Reservations WHERE timestamp > '2021-04-02'

返回 2 行，而下面是:

%sql DELETE FROM Azure.Reservations WHERE timestamp > '2021-04-02'

失败:

Error in SQL statement: AssertionError: assertion failed: No plan forDeleteFromTable (timestamp#394 > 1617321600000000)

?

我是 Databricks 的新手，但我确信我在另一个表上运行了类似的命令(没有 WHERE 子句)。该表是基于 Parquet 文件创建的。

Answer 1

DELETE FROM(以及类似的 UPDATE 或 MERGE)在 Parquet 文件上不受支持 - 现在在 Databricks 上支持它三角洲格式。您可以使用 CONVERT TO DELTA 将 Parquet 文件转换为增量文件，然后此命令将为您工作。

另一种实现方式是读取 parquet 文件，过滤掉您想要保留的行，然后覆盖您的 parquet 文件。