hadoop - 映射器执行时间之间的巨大差异

Question

我尝试导入带有sqoop的表；我使用4个映射器。
问题在于，映射器之间的执行时间之间存在巨大差异。
一些少于10的薄荷糖，其他的则超过一小时。
你能解释为什么吗？以及如何优化导入？

Answer 1

看起来映射器之间的数据分布不均匀可能是造成这种差异的原因。

我认为您可以检查什么是表的主键，什么是最小值和最大值的范围。因为基于范围，数据将分布在映射器中。并检查最后两个映射器是否导入了更多数据。