java - 如何修复异常 : Saving data in the Hive serde table Please use the insertInto() API as an alternative. Spark :2. 1.0

Question

我们正在尝试使用 saveAsTable() 方法将 Dataframe 保存到 Hive 表。但是，我们遇到了以下异常。我们正在尝试将数据存储为 TextInputFormat。

Exception in thread "main" org.apache.spark.sql.AnalysisException: Saving data in the Hive serde table `cdx_network`.`inv_devices_incr` is not supported yet. Please use the insertInto() API as an alternative..;


reducedFN.write().mode(SaveMode.Append).saveAsTable("cdx_network.alert_pas_incr");

我尝试了 insertInto() 和 enableHiveSupport() 并且它有效。但是，我想使用 saveAsTable() 。

我想了解为什么 saveAsTable() 不起作用。我尝试浏览文档和代码。没有得到太多的了解。它应该可以工作。我看到使用 Parquet 格式的人提出的问题，但对于 TextFileInputFormat 我没有看到任何问题。

表定义

CREATE TABLE `cdx_network.alert_pas_incr`(
  `alertid` string,
  `alerttype` string,
  `alert_pas_documentid` string)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'maprfs:/apps/cdx-dev/alert_pas_incr'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='{\"BASIC_STATS\":\"true\"}',
  'numFiles'='0',
  'numRows'='0',
  'rawDataSize'='0',
  'totalSize'='0',
  'transient_lastDdlTime'='1524121971')

Answer 1

看起来这是一个错误。我做了一些研究，发现了这个问题SPARK-19152 。修复版本为2.2.0。不幸的是我无法验证它，因为我公司的集群使用的是2.1.0版本