java - 方案 : webhdfs 没有文件系统

Question

我正在构建一个将一些数据推送到我的 HDFS 中的客户端。因为 HDFS 位于防火墙后面的集群内，所以我使用 HttpFS 作为代理来访问它。当我尝试读取/写入 HDFS 时，客户端退出并出现 IOException。消息是 No FileSystem for scheme: webhdfs。代码很简单

String hdfsURI = "webhdfs://myhttpfshost:14000/";
Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get(new URI(hdfsURI), configuration);

它在最后一行崩溃了。我正在使用 Maven 3.0.4 构建并将 Hadoop-Client 依赖项 2.2.0 添加到我的项目中。通过命令行上的 curl 访问工作正常。

知道为什么这会失败吗？

Answer 1

类似于this关于 SO 的问题我必须在执行任何 FS Activity 之前添加以下代码:

configuration.set("fs.webhdfs.impl", org.apache.hadoop.hdfs.web.WebHdfsFileSystem.class.getName());

我不知道为什么，但 Maven 构建过程似乎有问题......现在它可以工作。