scala - MiniDFSCluster : HDFS triple slash schema extension wrong FS

Question

我在 HDFS 配置中使用 defaultFS 设置。我创建配置，然后显式设置它。

  import org.apache.hadoop.conf.Configuration
  import org.apache.hadoop.fs.FileSystem

  val config = new Configuration()
  config.set("fs.defaultFS", "hdfs://localhost:8020")
  val fs = FileSystem.get(new URI(filePath), config)

代码似乎在大多数时候都可以正常工作，但是对于带有三重斜线的文件路径，我得到一个错误仅在少数机器上:

 Wrong FS: hdfs:/tmp/hdfstest, expected: hdfs://localhost:8020

一个斜杠只出现在异常消息中。

在系统的其他任何地方我都看到三重斜杠:hdfs:///tmp/hdfstest。同样对于像 /tmp/hdfstest 这样没有三重斜杠的路径，defaultFS 完美工作。

将不胜感激任何建议。提前致谢!

UPD:在 MiniDFSCluster 上运行的测试中出现异常。在测试期间，我使用了具有不同配置的相同 MiniDFSCluster。

Answer 1

原来不是HDFS的问题，而是MiniDFSCluster的测试问题。在测试套件中，我正在创建测试集群，然后在其上检查不同的 defaultFS 场景。

MiniDFSCluster 由于共享配置而存在一些问题，某些用例可能会导致意外结果以及错误地失败或通过单元测试。

有关更多信息，请查看 ticket在 Apache 中。