hive - Athena 在 msck 修复表后不添加分区

Question

我有一个将数据存储在 s3 中默认目录结构的消防水管:
"YY/MM/DD/HH"和 athena 中的表，这些列定义为分区:

年:字符串，月:字符串，日:字符串，小时:字符串

跑完后

msck repair table clicks

我只收到:

Partitions not in metastore:    clicks:2017/08/26/10

我可以手动添加这些分区并且一切正常，但是我想知道为什么 msck repair 不会自动添加这些分区并更新 Metastore？

Answer 1

使用雅典娜 MSCK REPAIR对于 S3，您需要使用键值对作为路径前缀:

点击次数/年=2017/月=08/天=26/小时=10/

而不是:clicks/2017/08/26/10/

或者，直接在 Glue 中更新分区(手动或使用爬虫)。

在这里找到这个:https://forums.aws.amazon.com/message.jspa?messageID=789078