hadoop - mapreduce程序未在分布式模式下产生所需的输出

Question

我的 map 缩减代码需要一些帮助。
该代码在eclipse和独立模式下运行完美，但是当我打包代码并尝试在伪分布式模式下本地运行该代码时，输​​出结果并不符合我的预期。

Map input records = 11
Map input records = 11

Reduce input records = 11
Reduce output records = 0

这些是我得到的值(value)。

当我在eclipse或独立模式下使用相同的配置和输入文件运行相同的代码时

Map input records = 11
Map output records = 11

Reduce input records = 11
Reduce output records = 4

谁能告诉我怎么了.. ??

我尝试了两种方法来构建用于Eclipse的.jar文件->导出->可运行的jar和表单终端(javac -classpath hadoop-core-1.0.4 -d class mapredcode.java && jar -cvf mapredcode.jar -C类/。)

以及我该如何调试。

Answer 1

您正在使用combiner()方法吗？
如果是的话。那么合并器的o / p是否与映射器的o / p相同？

因为在Hadoop中，Combiner是由Hadoop本身运行的，因此在您的情况下可能无法以伪分布式模式运行。
组合器本身就是用来降低网络流量的 reducer 。

并且代码应该这样，即使没有运行组合器， reducer 也应该从映射器中获取预期的格式。

希望能帮助到你。