gpt4 book ai didi

hadoop - 如何在新的 Hadoop api 中更改 FileSplit 大小

转载 作者:可可西里 更新时间:2023-11-01 15:12:30 24 4
gpt4 key购买 nike

在新的 Hadoop api 中,无法显式设置映射器的数量,我想将 SplitSize 更改为比默认值更小的数字,以便执行更多的映射器。我如何在新的 Hadoop API 中做到这一点?

下面的方法我都试过了,还是不行

 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)

最佳答案

您必须根据您的要求更改以下参数。

mapreduce.input.fileinputformat.split.minsize

mapreduce.input.fileinputformat.split.maxsize

看看这个link了解更多详情。

关于hadoop - 如何在新的 Hadoop api 中更改 FileSplit 大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34166803/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com