azure - 具有日期分区的 HdInsight Azure DW Polybase 到 Hive 表 (ORC) 失败

Question

我正在尝试在Azure数据仓库中为Hive表创建一个polybase外部表，该表存储为ORC(HD洞察数据湖)并按日期分区，当我查询外部表在SQL Server中失败时没有任何正确的错误消息。

当我不使用分区时，我可以使用外部表访问 hive ORC 表，但是使用分区时，我会遇到以下错误，但没有任何正确的错误消息。

错误:

消息 106000，级别 16，状态 1，第 33 行索引:23，大小:23

详细信息:

hive 表:

创建外部表 DL_ClickStream_fnl(

.

.) 按(TIME_STAMP 日期)分区，存储为 ORC；

Azure DW 外部表:

创建外部表 [stg].[dl_clickstream_procd] (

.

.

) with (DATA_SOURCE = [AzureDataLakeStore_clusters],LOCATION = N'clusters/BLMSpark/hive/warehouse/coremetrics.db/dl_clickstream_procd',FILE_FORMAT = [ORCFileFormat_DL],REJECT_TYPE = VALUE,REJECT_VALUE = 2)

文件格式:

使用 (FORMAT_TYPE = ORC) 创建外部文件格式 [ORCFileFormat_DL]

Answer 1

在 Hive 中，分区列是从目录元数据派生的虚拟列。 PolyBase 直接读取文件无法填充分区列。在您的 SQL DW 外部表 DDL 中，删除按列分区，您的负载应该可以工作。