hadoop - 如何删除 Hive 中每个节点的分区限制？

Question

我在 Hive 中有一个分区表。对于每个节点，我将分区限制设置为 2000。

set hive.exec.max.dynamic.partitions.pernode=2000

现在到了2000年之后，我面临一个问题。所以我想了解是否有可能取消此限制？

只是我不想为 hive.exec.max.dynamic.partitions.pernode 设置任何值，它应该处理任意数量的分区。

有人可以帮我解决这个问题吗？

Answer 1

我以前遇到过这个问题。在 SQL 末尾添加 distribute by partition_column。

insert overwrite table table_A partition (date_id)
select xxxxxxxx
from table_B
distribute by date_id;

使用“distribute by”，相同的 date_id 值将被混洗到一个 reducer 中。因此 reducer 可能会处理多个 date_id 而不是随机 date_id(这可能包括所有 date_id)。