firefox - 在浏览器中打开 HDFS 文件

Question

我正在尝试在我的浏览器中使用以下 URL 打开文件(存在于 HDFS 位置:/user/input/Summary.txt):hdfs://localhost:8020/user/input/Summary.txt 但我我的 firefox 浏览器出现错误:

Firefox 不知道如何打开这个地址，因为协议(protocol) (hdfs) 没有与任何程序关联。

如果我将协议(protocol)从 hdfs 更改为 http(理想情况下它不应该工作)然后我收到消息:看起来你正在制作一个对 Hadoop IPC 端口的 HTTP 请求。这不是此守护程序上 Web 界面的正确端口。


这存在于 core-site.xml 文件中:

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:8020</value>
  </property>

请告诉我如何进行这项工作。我不确定问题是否与 firefox 浏览器有关，或者我缺少一些配置设置，或者我使用的 url 不正确。

编辑:

当我尝试从 java 代码访问它时，出现异常:unknown protocol: hdfs。

static{
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}

public static void main(String[] args) throws MalformedURLException, IOException {
    final String url = "hdfs://localhost:8020/user/input/Summary.txt";

    InputStream is = new URL(url).openStream();

}

请建议如何从 java 代码访问 hdfs 协议(protocol)。

Answer 1

在HDFS 8020是IPC端口，你需要打开HDFS浏览器的HDFS Web UI，它的默认端口是50070，从你的Web浏览器打开以下URL

http://localhost:50070/ ，然后转到 Live nodes 选项 -> 从那里选择一个数据节点 -> 单击 Browse filesystem