hadoop - 失败 : Execution Error, 在配置单元中的连接操作期间从 org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask​​ 返回代码 2

Question

我正尝试在配置单元中对以下两个表运行连接查询-

select b.location from user_activity_rule a inner join user_info_rule b where a.uid=b.uid and a.cancellation=true;

Query ID = username_20180530154141_0a187506-7aca-442a-8310-582d335ad78d
Total jobs = 1
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
Execution log at: /tmp/username/username_20180530154141_0a187506-7aca-442a-8310-582d335ad78d.log
2018-05-30 03:41:51     Starting to launch local task to process map join;      maximum memory = 2058354688
Execution failed with exit status: 2
Obtaining error information

Task failed!
Task ID:
  Stage-4

Logs:

/tmp/username/hive.log
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

这个错误是什么意思，如何解决？

Answer 1

当您尝试运行的作业内存不足时，就会发生这种情况。克服这个问题的一种方法是使用这个命令:

set hive.auto.convert.join = false;

这将有助于连接优化。

有时当使用它的并发用户数很高时(在某个高峰时间)，会发生这种情况。或者，您可以在没有多少用户使用时触发此查询。显然，会有有很多空闲内存，以便您的工作可以消耗所需的内存。这种替代方案可以采用时开发环境中的节点较少，您可以确定生产环境中不会出现内存问题。