hadoop - mapreduce 中的多个文件

Question

我是 mapreduce 程序的新手。我正在关注 Tom white Hadoop 权威指南。我正在做天气数据程序，我想在其中找到每年的最高温度。我有4个1901、1902、1904、1905年的文件，每年一个文件(我每年制作一个文件)。

如何在 mapreduce maper 程序中设置四个输入文件。 Hadoop安装在伪分布式模式下。请帮助我。

Answer 1

如果您使用的是 hadoop 流媒体，请尝试以下操作:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper mapper \
-reducer reducer

将您的文件放入输入目录即可解决您的问题。

Full documents