java - 从 HDFS 读取属性文件

Question

我正在尝试像这样读取 HDFS 上的 Java 属性文件:

try {
    properties.load(new FileInputStream("hdfs://user/hdfs/my_props.properties"));
} catch (IOException e) {
    throw new RuntimeException("Properties file not found.");
}

但它似乎不起作用，我得到“找不到属性文件”。异常(exception)。如果我将路径替换为本地文件，它工作正常并且我能够读取该文件。

是否可以使用 FileInputStream 读取 HDFS 文件？

谢谢!

Answer 1

我希望你需要使用 hadoop jar 并且还需要文件系统来从 HDFS 读取。像这样的东西应该放在你的代码之前。

Path pt=new Path("hdfs://user/hdfs/my_props.properties");
FileSystem fs = FileSystem.get(new Configuration());

引用:FileInputStream for a generic file System