gpt4 book ai didi

输出键为 NullWritable 时的 Hadoop reducer 输出顺序

转载 作者:可可西里 更新时间:2023-11-01 16:26:30 24 4
gpt4 key购买 nike

我正在编写一个 hadoop 应用程序,其最终输出是一个 bmp 图像。我将输出格式更改为 byte,这是我的问题:如果我将输出键设置为 NullWritablereducer 输出顺序 会是什么?

最佳答案

reducer 的输出键类型对 reducer 输出的顺序没有影响 - 它由 reducer 输入键控制,并且通过键 compareTo 方法或原始比较器的自然排序,如果配置。

所以顺序将与你的 reducer 处理记录的顺序相同(除非你的 reducer 维护键/值之间的状态并定期刷新此状态)

关于输出键为 NullWritable 时的 Hadoop reducer 输出顺序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20854852/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com