gpt4 book ai didi

java - 如果我们有 12 个分区键,而我们只有 8 个 Reducer,那么会生成多少个 op 文件?

转载 作者:可可西里 更新时间:2023-11-01 15:37:17 26 4
gpt4 key购买 nike

如果我们有 12 个分区键而我们只有 8 个 Reducer,将创建多少个 op 部分文件?

创建的零件文件数量是否为 12,即使 4 个 reducer 可以用于 2 个键。 IE。 1 个 reducer 是否会发出 2 个部分文件,因为它使用 2 个键(对于 4 个 Reducer)或者两个键的数据(给 1 个 Reducer)将合并到一个部分文件中,因此只生成 8 个部分文件?

最佳答案

如果 4 个 reducer 为 2 个键工作,则创建的部分文件的数量将为 8。一个 reduce 任务将只生成一个部分文件,即使它需要多个键。一个 reduce 任务分区可能包含多个键,并且它们是排序的。减少Reducer 类中的方法将按照键的排序顺序获取此键。

您可以从以下链接阅读更多相关信息。

1) Yahoo

2) hadoop-definitive-guide-tom-white

关于java - 如果我们有 12 个分区键,而我们只有 8 个 Reducer,那么会生成多少个 op 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23005698/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com