java - java.lang.UnsupportedOperationException:未由DistributedFileSystem FileSystem实现实现

Question

我正在使用单节点hadoop集群(2.6.2)，如果需要将hdfs声明为分布式的。我将hdfs，core，common jar添加到项目构建路径，也需要jar到项目lib。但是我现在收到错误java.lang.UnsupportedOperationException:我在应用程序上下文中配置hadoop的DistributedFileSystem FileSystem实现未实现。

Configuration conf = new Configuration();

conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/core-site.xml"));
        conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/hdfs-site.xml"));
        conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/mapred-site.xml"));


conf.set("fs.defaultFS", "hdfs://localhost:8088");
FileSystem fileSystem = FileSystem.get(conf);

Answer 1

您正在使用的依赖jar似乎存在问题。

我正在使用Hadoop 2.7.1。

我尝试了您的程序，并在群集中获得了正确的结果。我得到了正确的输出hdfs作为方案。

程序:

package com.myorg.hadooptests;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class GetConfTest {
    public static void main(String[] args) throws Exception    {

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS", "hdfs://MBALLUR:8020");
        FileSystem fs = FileSystem.get(conf);
        System.out.println(fs.getScheme());
    }
}

Maven依赖项:

<dependencies>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>1.2.1</version>
    </dependency>

</dependencies>

我的类路径设置为(我正在Windows上运行):

E:\HadoopTests\target>echo %CLASSPATH% .;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\etc\hadoop\;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\ share\hadoop\common*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\common\lib* ;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\hdfs*;e:\hdp\hadoop-2.7.1.2.3.0. 0-2557\share\hadoop\hdfs\lib*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\map reduce*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\mapreduce\lib*;e:\hdp\ha doop-2.7.1.2.3.0.0-2557\share\hadoop\tools*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\sh are\hadoop\tools\lib*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\yarn*;e:\h dp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\yarn\lib*