hadoop - java.lang.ClassNotFoundException:找不到类org.apache.hadoop.hdfs.DistributedFileSystem

Question

我正在尝试使用Hadoop HDFS Java API列出HDFS中的所有文件。
我可以通过在本地Eclipse中运行代码来列出远程HDFS上的文件。

但我异常(exception)

java.lang.ClassNotFoundException: Class  org.apache.hadoop.hdfs.DistributedFileSystem 
org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2290)
org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2303)
org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:87)
org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2342)
org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2324)
org.apache.hadoop.fs.FileSystem.get(FileSystem.java:351)
org.apache.hadoop.fs.FileSystem.get(FileSystem.java:163)

从Web服务器执行代码时，为 。

我添加了以下Maven依赖项。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.0.0-cdh4.5.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-auth</artifactId>
    <version>2.0.0-cdh4.5.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.0.0-cdh4.5.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>2.0.0-mr1-cdh4.5.0</version>
</dependency>

另外，我已经将所需的jar嵌入到导出的jar中，而maven在buildpath中添加了相同的内容。

如果任何人之前遇到此问题，请您共享解决方案。

Answer 1

我在Apache hadoop 2.2.0 realease中遇到了类似的问题，我通过将其作为单独的进程运行来进行了变通，

final Process p = Runtime.getRuntime ().exec ("java -jar {jarfile} {classfile}";
final Scanner output = new Scanner (p.getErrorStream ());
while (output.hasNext ()) {
            try {
                System.err.println (output.nextLine ());
            } catch (final Exception e) {

            }
 }

jar文件包含使用apache hadoop 2.2.0 jar的实现。

虽然，我仍在寻找确切的解决方案。