hadoop - 如何从 HDFS 执行 map reduce 程序(例如 wordcount)并查看输出？

Question

我是 Hadoop 新手。我在 eclipse 中有一个简单的 wordcount 程序，它接受输入文件然后显示输出。但我需要从 HDFS 执行相同的程序。我已经为 wordcount 程序创建了一个 JAR 文件。任何人都可以让我知道如何进行吗？

Answer 1

您需要设置集群，即使是单节点集群。然后您可以从 hadoop 命令行运行您的 .jar:

jar

Runs a jar file. Users can bundle their Map Reduce code in a jar file and execute it using this command.

Usage: hadoop jar <jar> [mainClass] args...

The streaming jobs are run via this command. Examples can be referred from Streaming examples

Word count example is also run using jar command. It can be referred from Wordcount example