hadoop - 当我们 select * table_name where id = 10; 时运行了多少映射器和缩减器；在 hive

Question

当我们 select * table_name where id = 10; 时运行了多少映射器和缩减器；在 hive ？它是基于输入分割还是文件大小？在这种情况下如何确定映射器和缩减器的数量？有什么建议吗？

Answer 1

对于输入表的每个输入拆分，将调度一个映射器，其中输入拆分的默认大小将是 block 大小。

您可以通过修改 mapreduce.input.fileinputformat.split.maxsize 来改变映射器的数量和 mapreduce.input.fileinputformat.split.minsize属性。

谈到 Hive 中的 reducer 数量，默认情况下它是使用 hive.exec.reducers.bytes.per.reducer 计算的属性，其默认值为 1GB。

您将能够通过修改上述属性来配置 reducer 的数量。您仍然可以使用 mapred.reduce.tasks 为作业设置固定数量的 reducer 。属性(property)。

希望这对您有所帮助。