hadoop - JobTracker 不显示已完成的任务

Question

我在笔记本电脑上以伪分布式模式运行 hadoop-1.1.2。我能够运行一个简单的 WordCount 程序，读取和写回 HDFS。我还可以看到 JobTracker 在 http://localhost:50030/jobtracker.jsp 上运行。但是，当我从 Eclipse 运行 WordCount 作业时，没有任何条目，无论是正在运行的还是已完成的作业。

我是否遗漏了其中一个配置文件中的任何其他属性设置？

谢谢。

Answer 1

发生这种情况是因为当您通过 Eclipse 运行作业时，它开始在其内部运行作业，而不是将其提交给 JobTracker，因为它不知道去哪里找到 JobTracker。您需要将它告诉 Eclipse。在您的代码中添加以下行，它应该可以工作:

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://localhost:9000");
conf.set("mapred.job.tracker", "localhost:9001");