hive 0.13 msck 修复表仅列出不在 Metastore 中的分区

Question

我正在尝试使用 Hive(0.13) msck repair table命令来恢复分区，它只列出未添加到 Metastore 的分区，而不是将它们也添加到 Metastore。

这是命令的输出

partitions not in metastore externalexample:CreatedAt=26 04%3A50%3A56 UTC 2014/profileLocation="Chicago"

这是我创建外部表的方式

CREATE EXTERNAL TABLE IF NOT EXISTS ExternalExample(
        tweetId BIGINT, username STRING,
        txt STRING, CreatedAt STRING,
        profileLocation STRING,
        favc BIGINT,retweet STRING,retcount BIGINT,followerscount BIGINT)
    COMMENT 'This is the Twitter streaming data'
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    STORED AS TEXTFILE
    location '/user/hue/exttable/';

我错过了什么吗？

Answer 1

我在 MSCK REPAIR TABLE 中遇到了类似的问题，其中列出了不在 Metastore 中但实际上没有添加它们的分区(并且没有错误消息)。

我尝试使用 ALTER TABLE ADD PARTITION 命令手动添加分区，这给了我一条错误消息，导致我找到根本原因，即包含“丢失”分区的 HDFS 文件夹的权限设置不正确。

一旦权限问题得到解决，MSCK REPAIR TABLE 命令就可以正常工作。

如果您遇到此问题，可能值得尝试使用 ALTER TABLE ADD PARTITION 命令手动添加它。它可能会产生有用的错误消息，帮助您确定问题的根本原因。