mapreduce - Hadoop MapReduce 作业挂起

Question

我正在尝试在我的 Ubuntu 桌面上使用最新的 Hadoop 版本 2.6.0、Java SDK 1.70 来模拟 Hadoop 环境。我用必要的环境参数配置了 hadoop，它的所有进程都已启动并正在运行，可以使用以下 jps 命令查看它们:

nandu@nandu-Desktop:~$ jps2810 NameNode3149 SecondaryNameNode3416 NodeManager3292 ResourceManager2966 DataNode4805 Jps

我也可以通过Firefox浏览器看到上面的信息，加上dfs文件。但是，当我尝试运行一个简单的 WordCound MapReduce 作业时，它挂起并且不产生任何输出或显示任何错误消息。过了一会儿，我使用“hadoop job -kill”命令终止了进程。你能指导我找到这个问题的原因以及如何解决它吗？我在下面给出了作业开始和终止(结束)的屏幕截图。

如果您需要更多信息，请告诉我。

非常感谢您的帮助。

谢谢，

===================================================================nandu@nandu-Desktop:~/dev$ hadoop jar wc.jar WordCount /user/nandu/input /user/nandu/output15/02/27 10:35:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable15/02/27 10:35:20 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803215/02/27 10:35:21 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.15/02/27 10:35:21 INFO input.FileInputFormat: Total input paths to process : 215/02/27 10:35:21 INFO mapreduce.JobSubmitter: number of splits:215/02/27 10:35:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1425048764581_000315/02/27 10:35:22 INFO impl.YarnClientImpl: Submitted application application_1425048764581_000315/02/27 10:35:22 INFO mapreduce.Job: The url to track the job: http://nandu-Desktop:8088/proxy/application_1425048764581_0003/15/02/27 10:35:22 INFO mapreduce.Job: Running job: job_1425048764581_0003==================== at this point the job was killed ===================15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 running in uber mode : false15/02/27 10:38:23 INFO mapreduce.Job:  map 0% reduce 0%15/02/27 10:38:23 INFO mapreduce.Job: Job job_1425048764581_0003 failed with state KILLED due to: Application killed by user.15/02/27 10:38:23 INFO mapreduce.Job: Counters: 0

Answer 1

我在运行 hadoop 包中提供的 MapReduce 示例时遇到了类似的问题。在我的例子中，由于我的 VM 上的磁盘空间不足(大约 1.5 GB 是空的)，它被挂起。当我释放一些磁盘空间时，它运行得很好。另外，请检查其他系统资源要求是否已满足。