hadoop - 如何通过URL访问hadoop hdfs并在程序中使用

Question

我的 hadoop dfs 可以通过访问

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

在我的程序中，我必须引用我的 hdfs 替换输入

FileInputFormat.addInputPath(conf, new Path("input"));

我的 core-site.xml 有值hdfs://localhost:54310 我无法使用 URL 访问它。

我的实际 hdfs 路径是 /users/hdone/text2，其中所有文件都具有适当的权限。

那么我要为 input 写什么呢？

Answer 1

您只需将 dfs 的相对路径提供给您的输入，它就会被正确读取。

例如，您正在创建一个输入路径，如下所示:

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

现在，为了运行您的 hadoop 作业，您可以执行如下操作:

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory

在您的 Java 代码中，您可以通过 args[0] 访问它，如下所示:

FileInputFormat.addInputPath(conf, new Path(args[0]));