hadoop - Hadoop问题，尝试在hadoop上运行基本WordCount MapReduce

Question

我在Windows 10笔记本电脑上运行hadoop，但是我找到了一些有关启动和运行基本字数统计程序的指南。 hadoop安装似乎很好，因为当我转到http://localhost:8088/cluster/apps/NEW时我可以看到仪表板，我认为这意味着“集群”已启动并正在运行。

作为引用，我现在只是为了学习它而这样做，这就是为什么我使用笔记本电脑和Windows 10的原因。我要遵循的指南在这里:

https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/How-to-Run-Hadoop-wordcount-MapReduce-Example-on-Windows-10

在一段时间内效果很好，直到我不得不真正提交作业为止，它转到了ResourceManager，我可以在仪表板上看到它，但是失败了，这里出现了非常非特定的错误:

Application application_1525309913796_0001 failed 2 times due to AM Container for appattempt_1525309913796_0001_000002 exited with exitCode: 1
Failing this attempt.Diagnostics: Exception from container-launch.
Container id: container_1525309913796_0001_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:972)
at org.apache.hadoop.util.Shell.run(Shell.java:869)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1170)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:236)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:305)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:84)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Shell output: 1 file(s) moved.
Container exited with a non-zero exit code 1
For more detailed output, check the application tracking page: http://BertieCoding:8088/cluster/app/application_1525309913796_0001 Then click on links to logs of each attempt.
. Failing the application.

在运行作业之前，我按照说明运行了以下命令:

hadoop fs -mkdir /input_dir
hadoop fs -put C:/input_file.txt /input_dir
hadoop fs -ls /input_dir/
hadoop jar C:/MapReduceClient.jar wordcount /input_dir /output_dir

不幸的是，当我查看hadoop安装的日志目录时，它包含文件夹/文件，但是文件中没有任何东西，这似乎也不正确。

有没有人看过这个并且知道如何解决？

哦，如果不是很明显，我将使用HDFS作为基础框架。我也可以发布该程序的源代码，但似乎无法运行它。

Answer 1

在设置JAVA_HOME路径的hadoop-env.cmd文件中，请勿在路径周围使用引号。

例如，我将其设置为:

set JAVA_HOME="C:\java"

而是这样做:

set JAVA_HOME=C:\java

非常简单的修复，导致了很多问题。