gpt4 book ai didi

java - 如何在hadoop Job类中设置Map任务的数量

转载 作者:可可西里 更新时间:2023-11-01 16:08:31 26 4
gpt4 key购买 nike

<分区>

我在通过 Java 将映射器的数量设置为一个时遇到问题。我正在使用作业和配置类。我知道我们可以使用旧的已弃用 API 通过 mapred.map.tasks 设置 reducer 的数量。

有什么方法可以指定使用作业和配置类。我尝试使用 FileInputFormat.setMinInputSplitSize(FullFilesize)

增加输入文件拆分大小

但是,我想知道我们是否有任何与新 API 中的 mapred.map.tasks 等效的东西,或者您如何通过其他方式指定

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com