hadoop - 在配置单元中分区后处理子文件夹

Question

我的目录结构如下。

• /data/year=/month=/day=/source1/abc.log
• /data/year=/month=/day=/source2/def.log
• /data/year=/month=/day=/source3/xyz.log

我想创建一个以年、月、日作为分区的配置单元表，但当我尝试执行 MSCK REPAIR TABLE 时它提示子文件夹“source1”。

建表语句

创建外部表示例(
col1 字符串，
col2 字符串
)
分区依据(年份字符串，月份字符串，日期字符串)
存储为兽人
位置“s3n://blah/data/”
TBLPROPERTIES ("orc.compress"="SNAPPY");

MSCK REPAIR TABLE 给出“意外的组件源 1”。知道如何在不移动文件的情况下创建外部表吗？谢谢你的帮助。

Answer 1

能否请您尝试设置以下属性

  hive.msck.path.validation = skip (or) ignore

在 hive-site.xml 中，然后在您的表上执行“MSCK REPAIR TABLE”

(引用自 Hive Manual在“Recover Partitions (MSCK REPAIR TABLE)”部分下)