hadoop - Hive 从多个目录加载数据并动态创建分区

Question

我根据创建日期将数据存储在 Hadoop 中，所以我有多个目录在基于 /data/{year}/{month}/{day} 格式创建的 HDFS 上。
我希望将这些数据加载到 Hive 中(定期)并创建相应的分区。目前，我正在尝试以下几种方法

CREATE EXTERNAL TABLE tablename (...)
PARTITIONED BY (year STRING, month STRING, day STRING)
LOCATION '/data';

ALTER TABLE tablename ADD PARTITION(year='2014', month='10', day='13') LOCATION '/data/2014/10/13';

但使用这种方法时，我需要使用 ALTER 命令手动创建每个分区。有什么方法可以自动化和参数化此过程(并将其放入工作流中)以将数据动态加载到每个子目录的 Hive 分区中？

Answer 1

msck 修复表 怎么样？这应该会自动加载子目录中的所有分区。看这里:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)