hadoop - 我可以将多个位置指向同一个配置单元外部表吗？

Question

我需要同时处理多个月的数据。那么，是否有将多个文件夹指向外部表的选项？例如创建外部表logdata(col1 string, col2 string.......) location s3://logdata/april, s3://logdata/march

Answer 1

简单的回答:不，创建期间 Hive 外部表的位置必须是唯一的，元存储需要它来了解您的表所在的位置。

话虽这么说，但您可能可以不用分区:您可以为每个分区指定一个位置，这似乎是您最终想要的，因为您是按月拆分的。

所以像这样创建你的表:

create external table logdata(col1 string, col2 string) partitioned by (month string) location 's3://logdata'

然后你可以像这样添加分区:

alter table logdata add partition(month='april') location 's3://logdata/april'

您每个月都这样做，现在您可以查询您的表，指定您想要的任何分区，Hive 将只查看您实际需要数据的目录(例如，如果您只处理四月和六月， Hive 可能不会加载)