hive - MSCK REPAIR hive 外部表

Question

我每天都会将数据摄入到 HDFS 中。从数据到 HDFS，我生成按日期分区的 Hive 外部表。我的问题如下，我是否应该在每次数据摄取后运行 MSCK REPAIR TABLE tablename ，在这种情况下我必须每天运行该命令。或者在表创建时运行一次就足够了。非常感谢您的解答

最诚挚的问候

Answer 1

仅在外部表的结构或分区发生更改时运行MSCK REPAIR TABLE。此命令更新表的元数据。

一个经常发生的例子，例如

您使用代表日期的字段dt对表进行分区。

• 昨天，您插入了一些数据，即 dt=2018-06-12，那么您应该运行 MSCK REPAIR TABLE 来更新元数据，以告诉 Hive 识别新分区dt=2018-06-12。
• 今天，您插入了一些数据，即 dt=2018-06-13，然后您应该运行 MSCK REPAIR TABLE 来更新元数据，以告诉 Hive 识别新分区dt=2018-06-13。