apache-spark - Hortonworks Hive Warehouse 连接器和模式更新

Question

似乎 Hortonworks Hive Warehouse Connector 直到 v.1.0.0 不支持模式更新。我尝试使用

hive
  .createTable(tableName)
  .ifNotExists()
  .column(name, type)
  .create()

如果表存在但具有不同的架构并且没有任何反应。然后我尝试用不同的模式编写 DataFrame。

dataFrame
  .write
  .format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
  .save()

也没有任何反应。我希望像 Spark 那样抛出 AnalysisException。

Answer 1

我发现要创建一个 HWC 表，会生成一个查询 ...

CREATE TABLE IF NOT EXISTS schema.table  (SERIALKEY DECIMAL(38,10),SOME STRING,SOME_OTHER STRING,...) STORED AS ORC

仅当表不存在且方案不比较时才执行。然后请求插入数据...

LOAD DATA INPATH '/tmp/20190222040853-6ab51b3c-a459-41df-9739-38bf5efb8da1' INTO TABLE schema.table

基于文档...

NO verification of data against the schema is performed by the load command.

因此，如果方案发生变化，HWC 可以将此数据帧记录在 Hive 存储中，其中具有不同方案的旧表毫无异常(exception)地保存它们的数据。