带有分区的 Hadoop distcp

Question

我正在尝试从一个系统到另一个具有相同配置的系统(比如 A 到 B)执行 distcp。但是我在 A 中创建的分区在从 A 到 B 的 distcp 后没有显示在 B 中。我必须在 B 中手动创建分区。

我已经设置了动态分区参数，但它只是添加了分区，这是另一回事。
请让我知道有没有办法解决这个问题。

Answer 1

您需要在 distcp 之后修复系统 B(复制数据的位置)上的表，执行以下 hive 命令

SET hive.mapred.mode=unstrict;
MSCK REPAIR TABLE <DB_NAME>.<TABLE_NAME>;