apache-spark - Azure Databricks - 无法创建托管表关联的位置已存在

Question

我在 Azure Databricks 中遇到以下问题。有时当我尝试将 DataFrame 保存为托管表时:

SomeData_df.write.mode('overwrite').saveAsTable("SomeData")

我收到以下错误:

"Can not create the managed table('SomeData'). The associated location('dbfs:/user/hive/warehouse/somedata') already exists.;"

我曾经通过运行 %fs rm 命令来删除该位置来解决此问题，但现在我使用的是由其他用户管理的集群，我无法再在该位置运行 rm。

现在我能想到的唯一解决方法是使用不同的表名。

使事情变得更加奇特的是该表不存在的事实。当我运行时:

%sql
SELECT * FROM SomeData

我收到错误:

Error in SQL statement: AnalysisException: Table or view not found: SomeData;

我该如何解决？

Answer 1

似乎还有一些其他人使用 same issue .

临时解决方法是使用

dbutils.fs.rm("dbfs:/user/hive/warehouse/SomeData/", true)

在重新创建表之前删除它。