hadoop - 即使有两行也无法占用内存

Question

我用以下查询测试了Hive:

create table test (key string, value string) stored as orc;
insert into table test values ('a','a'), ('b','b');
select key, count(*) from test group by key;

而且我收到了内存不足的错误:

Error: Failure while running task:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:157) at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:137)

我在网上搜索过，但是人们在处理一些较大的文件时通常会遇到此错误。就我而言，该文件只有两行，而我的计算机具有14G内存。

我已经将/etc/hadoop/conf/hadoop-env.sh HADOOP_HEAPSIZE设置为1024。它不起作用。

Answer 1

首先，我增加了tez.runtime.io.sort.mb，但是却出现了此错误:tez.runtime.io.sort.mb应该大于0并且小于可用任务内存

然后，按照@Hellmar Becker的建议，增加了hive.tez.java.opts(和其他一些参数)。这解决了问题。