hadoop - Spark Sql 1.5 dataframe saveAsTable 如何添加配置单元表属性

Question

我在配置单元上运行 spark sql。我需要在创建新的配置单元表时添加 auto.purge 表属性。我尝试使用以下代码在调用 saveAsTable 方法时添加选项:

inputDF.write.option("auto.purge" -> "true").saveAsTable(hiveTableName)

上面的代码行在表的 WITH SERDEPROPERTIES 下添加了一个属性。我需要在配置单元 DDL 的 TBLPROPERTIES 部分下添加此属性。

Answer 1

最后我找到了一个解决方案，我不确定这是否是最好的解决方案。不幸的是，Spark 1.5 sql saveAsTable 方法不支持表属性作为输入。他们在创建配置单元表之前创建新的 tableProperties 映射。查看以下代码: https://github.com/apache/spark/blob/v1.5.0/sql/hive/src/main/scala/org/apache/spark/sql/hive/HiveMetastoreCatalog.scala

要将表属性添加到现有的配置单元表，请使用 alter table 命令。

ALTER TABLE table_name SET TBLPROPERTIES ('auto.purge'='true');

以上命令会将表属性添加到配置单元元存储。要删除加密区内的现有表，请在删除命令之前运行上面的命令。