gpt4 book ai didi

hadoop - 是什么导致mapreduce作业仅为hbase中的100000行创建一个 map

转载 作者:行者123 更新时间:2023-12-02 20:07:04 25 4
gpt4 key购买 nike

我想知道是什么配置导致mapreduce仅具有一个图,而在作业配置中设置了10000的输入拆分和每个图1000的行数。

它是一个2节点的群集,我尝试使用startRow和endRow进行扫描。

我想要至少2张 map ,每台机器上一张。

最佳答案

默认情况下,在区域边界上拆分HBase表上的M / R任务。如果只有一个区域可容纳1万行,则只能获得一个映射器。

如果只有一个区域,则可以简单地拆分表中的区域,并具有2个区域,从而有2个映射器。

关于hadoop - 是什么导致mapreduce作业仅为hbase中的100000行创建一个 map ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21697055/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com