apache-spark - 三角洲湖上的 hive 表

Question

我是 Spark 和三角洲湖的新手。我正在增量表的顶部创建配置单元表。我有必要的 jar delta-core-shaded-assembly_2.11-0.1.0.jar, hive-delta_2.11-0.1.0.jar;在 hive 类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

但是在创建表时
CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/path/to/my/delta/table'
得到以下异常:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J

两个表匹配的架构。堆栈详情:
Spark :2.4.4
hive :1.2.1

任何帮助深表感谢。提前致谢。

Answer 1

Hive with delta Lake 仅支持 spark 3.0 和 delta 版本 0.7.0。

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>