scala - NULL 指针异常，同时在 foreach() 中创建 DF

Question

我必须从 S3 读取某些文件，因此我创建了一个 CSV，其中包含这些文件在 S3 上的路径。我正在使用以下代码读取创建的 CSV 文件:

val listofFilesRDD = sparkSession.read.textFile("s3://"+ file)

这工作正常。然后我尝试读取这些路径中的每一个并创建数据框，例如:

listofFilesRDD.foreach(iter => {
  val pathDF = sparkSession.read
    .schema(testSchema)
    .option("headers", true)
    .csv("s3://"+iter)

  pathDF.printSchema()
})

但是，上面的代码给出了 NullPointerException。

那么，我该如何修复上面的代码呢？

Answer 1

您可以解决上述问题，如下所示，您可以简单地创建 s3 文件路径数组并遍历该数组并在其中创建 DF，如下所示

val listofFilesRDD = sparkSession.read.textFile("s3://"+ file)
val listOfPaths = listofFilesRDD.collect()

    listOfPaths.foreach(iter => {
    val pathDF = sparkSession.read
    .schema(testSchema)
    .option("headers", true)
    .csv("s3://"+iter)


pathDF.printSchema()
})