hadoop - 如何修改此配置单元查询以增加分配的 reducer 数量？

Question

我正在尝试使用配置单元执行此查询，但是它要花很多时间才能运行，尤其是在进入化简步骤之后。它说映射器:451， reducer :1。

create table mb.ref201501_nontarget as select * from adv.raf_201501  where target=0 limit 200000;

我更改查询的动机来自以下答案:

Hive unable to manually set number of reducers

我尝试将查询更改为:

create table mb.ref201501_nontarget as select * from (select * from adv.raf_201501 limit 200000)  where target=0;

但是它的抛出错误。

Answer 1

这个问题非常模糊，如果您认为最后一个查询会产生正确的结果(请注意，它与第一个查询不一样!)，这应该可以解决问题:

create table mytmptbl = select * from advanl.raf_201501 limit 200000;
create table mbansa001c.ref201501_nontarget as select * from (mytmptbl )  where target=0;

之后，您可能要再次删除临时表。