hadoop - hive :具有多个插入查询:失败:SemanticException应该不会发生

Question

我正在使用多插入查询进行优化，这肯定对我有很大帮助，但是每天运行时，我发现3到4个id(计数超过1000万)在reducer上花费了太多时间。为了解决这个问题，我已经实现了skewjoin优化属性，但是

"FAILED: SemanticException Should not happened"

我正在使用的属性

set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress=true;
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;  
set mapreduce.output.fileoutputformat.compress.type=BLOCK;
SET hive.optimize.skewjoin=true;
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;
set hive.optimize.skewjoin=true;
set hive.skewjoin.key=100000;
set hive.skewjoin.mapjoin.map.tasks=10000;
set hive.skewjoin.mapjoin.min.split=33554432;

请建议如何优化此偏斜数据。(每个新的运行ID都会不同)

Answer 1

set hive.optimize.skewjoin=true; ---> set hive.optimize.skewjoin=false;