scala - Scala中的HDFS文件列表

Question

我试图在hdfs目录中找到文件列表，但是当我尝试运行以下代码时，将其期望文件的代码作为输入。

val TestPath2="hdfs://localhost:8020/user/hdfs/QERESULTS1.csv"
val hdfs: org.apache.hadoop.fs.FileSystem = org.apache.hadoop.fs.FileSystem.get(sc.hadoopConfiguration)
      val hadoopPath = new org.apache.hadoop.fs.Path(TestPath1)
      val recursive = true
     // val ri = hdfs.listFiles(hadoopPath, recursive)()
      //println(hdfs.getChildFileSystems)
      //hdfs.get(sc

val ri=hdfs.listFiles(hadoopPath, true)
println(ri)

Answer 1

您应该先将默认文件系统设置为 hdfs:// ，看来您的默认文件系统是 file://

val conf = sc.hadoopConfiguration 
conf.set("fs.defaultFS", "hdfs://some-path")

val hdfs: org.apache.hadoop.fs.FileSystem = org.apache.hadoop.fs.FileSystem.get(conf)

...