hadoop - MSCK REPAIR TABLE 表名耗时较长

Question

我在包含超过 28K 分区的配置单元表上运行 MSCK REPAIR TABLE 表名，我们将每 10 分钟接收一个分区。

当我们每 10 分钟在此表上运行一次 MSCK REPAIR TABLE 时，它会花费很多时间

有人可以建议为什么需要更多时间吗？ (即超过 5-10 分钟)

提前致谢。

hive 版本:1.1.0

Answer 1

这是一个非常糟糕的做法。
无论目录是否已经映射到分区，MSCK REPAIR 仍然需要获取所有目录的列表以及所有分区的列表并进行比较。
相反，您应该在每次添加目录时使用 alter table ... add partition ... 添加一个分区。