eclipse - Hadoop WordCount 示例 - 在 Hadoop 上运行 (Eclipse) 选项不提示选择 Hadoop 服务器在窗口上运行

Question

我正在尝试在 Eclipse 上运行字数统计示例。通常，当我们在 eclipse 中单击“在 hadoop 上运行”选项时，我们会看到一个新窗口，要求选择服务器位置。但是，现在它直接运行程序而不要求我从下面的列表中选择现有服务器。

我想正因为如此，我得到了以下异常:

13/04/21 08:46:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt

如果我更改以下行，我的代码就可以工作:

FileInputFormat.setInputPaths(conf, "/home/hduser1/gutenbergIP/pg4300.txt");

到:

FileInputFormat.setInputPaths(conf, "hdfs://localhost:54310/home/hduser1/gutenbergIP/pg4300.txt");

如果我用完整的 url 明确指定文件名，它就可以工作。我需要一些帮助。我怎样才能使我的相对 URL 工作而不是提供完整的 URL(必须将其作为学校作业提交)。

Answer 1

在您的代码中添加以下两行:

config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml"));
config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));

如果您不指定它，您的客户端将查看不包含指定路径的本地 FS，因此会抛出该错误。