gpt4 book ai didi

java - 关于调试 Hadoop MapReduce 作业中二级排序问题的任何提示?

转载 作者:可可西里 更新时间:2023-11-01 16:20:18 24 4
gpt4 key购买 nike

我相信(相信?)我理解二级排序在 Hadoop 中的工作原理。我创建了一个由 4 个字段组成的中间键。我按第一个字段分区,按第一个和第二个字段分组,然后按所有 4 个字段排序。

看起来我已经确定了分组和分区,但是值进入 reducer 的顺序是乱序的。

关于如何对此进行调试有什么想法吗?

最佳答案

目前,手动或使用工具进行静态代码审查似乎效果不错。我相信我违反了规则:当覆盖 compareTo() 时,不要忘记覆盖 equals()hashCode()。如果解决这个问题,我会及时通知大家。

关于java - 关于调试 Hadoop MapReduce 作业中二级排序问题的任何提示?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9229811/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com