java - 在映射器中运行 hdfs -text 命令并使用输出

Question

有没有办法在映射器中运行 hadoop 命令？

例如我要运行

hdfs dfs -text /path/to/file 

我会将该输出用于我的映射器逻辑。或者有其他选择吗？

例如运行命令hdfs dfs -text/path/to/file作为Java的子进程

Answer 1

更好的是使用 Java HDFS API打开 HDFS 文件并将内容读入您可以使用的变量。

例如:

InputStream is = FileSystem.get(yourConfigurationObject).open(new Path("/path/to/file"));