hadoop - 如何从 EXPLAIN 中为不同的配置单元阶段设置资源？

Question

有没有办法根据 EXPLAIN 查询的阶段提供资源。

Answer 1

据我所知，您唯一可以设置的是:

• R 的数量/精确计数 set mapred.reduce.tasks=** (只要是 makes sense )
• R 数量/最大计数 set hive.exec.reducers.max=** + 计算实际数量的提示 set hive.exec.reducers.bytes.per.reducer= *****
• 每个 M 容器的资源(使用 MR 时)/set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX** <~80% of total for heap>
• 每个 R 容器的资源(使用 MR 时)/set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX** <~80% of total for heap>
• 每个容器的资源(使用 TEZ 时)/set hive.tez.container.size=** + set hive.tez.java.opts=-XMX** <~堆总量的 80%>

请注意，如果您的查询显示 3 个 Map 步骤和 2 个 Reduce 步骤，则设置将应用于所有步骤...

引用:Hive documentation和 that post for instance