hadoop - hive中使用了多少个mapper来处理1GB的Table

Question

有人问我这个问题..

如果有10个节点，需要在hive中处理1GB的Table。那么使用了多少映射器？

Answer 1

如何确定映射器的数量？

与缩减器的数量相比，映射器的数量相对容易确定，但更难控制。映射器的数量可以确定如下:首先确定输入文件是否可拆分。 GZip 文件和一些其他压缩文件本质上不能被 Hadoop 拆分。普通文本文件、JSON 文档等是可拆分的。

如果文件是可拆分的:

1. 计算输入文件的总大小。
2. 映射器的数量 = 上面计算的总大小/Hadoop 配置中定义的输入拆分大小。例如，如果输入的总大小为 1GB，输入拆分大小设置为 128 MB，则:映射器数量 = 1 x 1024/128 = 8 个映射器。

如果文件不可拆分:

1. 在这种情况下，映射器的数量等于输入文件的数量。

此外，文件格式也起着一定的作用。