java - 如何使用 Java API 访问远程 HDFS 集群的配置 xml 文件？

Question

我有一个名称节点地址(IP 地址和端口)，但我不知道配置文件(即 core-site.xml、hdfs-site.xml 等)在本地文件系统上的位置。我想访问配置详细信息。

我知道通过执行以下操作我可以获得详细信息，

Configuration conf = new Configuration();
conf.addResource(file path of core-site.xml);
conf.addResource(file path of hdfs-site.xml);

它在我知道文件路径的本地机器上运行。但是我不知道文件在远程机器上的位置。

有什么方法可以访问配置？

Answer 1

如果真正的问题是如何在一个集群中运行代码并在另一个集群上访问 HDFS，那么您不需要像大多数教程所示那样添加资源 core-site.xml 和 hdfs-site.xml。

    Configuration conf = new Configuration();
    //conf.addResource(new Path("/etc/hadoop/conf/core-site.xml"));
    //conf.addResource(new Path("/etc/hadoop/conf/hdfs-site.xml"));
    //FileSystem fs = FileSystem.get(conf);
    String fromFileName = "hdfs://my.source.cluster/a/b/c";
    String toFileName = "hdfs://my.dest.cluster/d/e/f";
    FileSystem fromFs = FileSystem.get(new URI(fromFileName),conf);
    FileSystem toFs = FileSystem.get(new URI(toFileName),conf);