amazon-s3 - 没有 "="的 hive 分区表的 S3 文件夹结构

Question

我有一个这样的现有 S3 文件夹结构，

s3://mydata/{country}/{date}/

{country}可以是 30 个不同国家中的任何一个

{date}可以是 20150101 之后的任何日期

如何通过将 {country} 视为分区并将 {date} 视为子分区来在 Hive 中读取此内容？

Answer 1

您可以使用 Hive DDL 语句 ALTER TABLE ADD PARTITION

ALTER TABLE mydata
ADD PARTITION (country='south-africa', date='20191024')
LOCATION 's3://mydata/south-africa/20191024/';

您可以使用 shell 脚本编写此脚本，并将每个语句传递给 Hive，如 hive -e 'ALTER TABLE $TABLE ADD PARTITION $PARTITION_SPEC LOCATION $PARTITION_LOCATION'
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AddPartitions