performance - Hive 查询卡在执行中间

Question

同事们，

我在配置单元中使用 sql 脚本执行 bash 文件时遇到问题 - 它总是卡在同一个地方 map=100%，reduce=67%

我尝试使用具有不同变体和其他调整特性的映射器和缩减器数量:

SET hive.exec.parallel=true;
SET hive.default.fileformat=RCFILE;
SET hive.stats.autogather=false;
SET hive.exec.compress.output=true; 
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
SET mapred.output.compression.type=BLOCK;
SET hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

但结果仍然相同 - 它持续返回 67% 的减少进度。

配置单元版本 - 0.13.0.2.X.X.X

SQL 包含来自多个源的表创建 - 多个表的简单连接。

有什么办法可以调整吗？

我们将不胜感激。

Answer 1

Reducer 的阶段是:

• 随机播放
• 排序
• 减少

卡在 67% 表示洗牌和排序已经完成，但您的分区都无法在 Reduce 阶段成功。 Reduce 阶段是您实际的 Reducer 代码。这表明您的代码无法完成。您应该检查您的代码并查看配置单元日志以了解您的代码无法运行的原因。