scala - Hadoop 端口 : fs. default.name

Question

我有点懵。我看到的几乎所有 Hadoop 安装“如何”指定的 core-site.xml 都将 fs.default.name 设置为 9000

<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://192.168.0.141:9000</value>
        </property>
</configuration>

但是，下面的代码

val conf = new org.apache.hadoop.conf.Configuration()
val fs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://192.168.0.141/"), conf)

给我一​​个 java.net.ConnectException: 指定无法连接到端口 8020。
我将 fs.default.name 切换到端口 8020，现在我似乎已经启动并运行了。

谁能告诉我哪里可能出错了？

Answer 1

如果您不使用默认端口，则必须指定它

hdfs://192.168.0.141:9000/

或者您可以将 core-site.xml 放在您的 Scala 类路径中，然后通过创建 new Configuration()，它会在 FileSystem.get(配置文件)

顺便说一句，该属性已弃用，取而代之的是 fs.defaultFS