java - 为什么要使用 hdfs ://prefix for a path to a file allow a file to be opened?

Question

我正在编写一个抓取页面的 hadoop 作业。我正在使用的库在爬行时使用文件系统来存储爬行数据。我确信必须修改库才能使用 HDFS，因为需要使用一组完全不同的类来与 HDFS 交互，而我使用的爬虫库使用 java.io。

但是，当一位同事使用 hdfs://localhost/path/to/storage 时，爬虫可以找到存储文件夹的路径，并且能够写入文件系统。我试图理解为什么会这样，基于 hadoop 的 jvms 是否有什么不同导致它们将 hdfs://前缀路径解析为 HDFS 上的路径？

Answer 1

不知道你用的是什么HDFS接口(interface)。 Hadoop 提供了一个通用的文件系统层。如果你没有在你的 hadoop 配置文件中指定 NameNode 地址(在 HADOOP_HOME/conf/core-site.xml 中并且属性的名称是“fs.default.name”)，你所有的“hadoop fs ...”注释将默认为本地文件系统。因此，如果您不知道 hadoop 配置是什么，那么包含“hdfs://namenode:port/”作为前缀是个好主意。