Hadoop:无法在 core-site.xml 中将默认文件系统设置为 HDFS

Question

我在伪分布式模式下使用 Hadoop 1.0.3。而我的conf/core-site.xml设置如下:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
    <name>mapred.child.tmp</name>
    <value>/home/administrator/hadoop/temp</value>
    </property>
</configuration>

所以我认为我的默认文件系统设置为 HDFS。但是，当我运行以下代码时:

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);

我认为 fs 应该是一个 DistributedFileSystem 实例。然而，结果却是 LocalFileSystem 实例。

但是，如果我运行以下代码:

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);

然后我可以获得一个DistributedFileSystem fs。

我的默认文件系统不是在 core-site.xml 中设置为 HDFS 吗？如果不是，我应该如何设置？

Answer 1

Eclipse环境不知道在Hadoop安装目录下的conf目录哪里可以找到core-default.xml和core-site.xml，除非将这些文件添加到Eclipse类路径中先加载。

由于这些没有添加到 eclipse 类路径中，默认的 core-site.xml 将从 jar 文件 hadoop-*-core.jar 加载(例如:hadoop-0.20.2-core.jar for version 0.20 ) 将本地系统作为默认文件系统，因此您会看到 LocalFileSystem对象而不是 DistributedFileSystem .

因此，添加 <HADOOP_INSTALL>/conf eclipse 项目类路径的目录，转到项目属性(项目 -> 属性)-> Java 构建路径 -> 库选项卡 -> 添加外部类文件夹 -> 从 <HADOOP_INSTALL> 选择 conf 目录

上面应该将您的“/core-site.xml”添加到您的 eclipse 类路径中，并且您的所有设置都应该覆盖默认设置。