scala - 从 Uber Jar 中的资源加载 CSV 文件作为数据框

Question

因此，我制作了一个在 Spark 中运行的 Scala 应用程序，并使用 sbt> 程序集创建了 Uber Jar。

我加载的文件是应用程序需要的查找，因此想法是将它打包在一起。它在 InteliJ 中使用路径“src/main/resources/lookup01.csv”运行良好

我在 Windows 中开发，在本地测试，然后将其部署到远程测试服务器。

但是当我在 Windows 机器上调用 spark-submit 时，我得到了错误:

“org.apache.spark.sql.AnalysisException:路径不存在:文件:/H:/dev/Spark/spark-2.4.3-bin-hadoop2.7/bin/src/main/resources/”

它似乎试图在 sparkhome 位置而不是从 JAr 文件中查找文件。

我如何表达路径，以便它可以从 JAR 包中查找文件？

我加载 Dataframe 的方式的示例代码。加载后，我将其转换为其他结构，如 map 。

val v_lookup = sparkSession.read.option( "header", true ).csv( "src/main/resources/lookup01.csv")

我想要实现的是获得表达路径的方式，以便它在我尝试运行 JAR 的每个环境中工作，理想情况下在开发时也可以在 InteliJ 中工作。

编辑:scala 版本为 2.11.12

更新:

似乎要了解 JAR 中的文件，我必须将其作为流读取，下面的代码有效，但我无法找到一种安全的方法来提取文件的 header ，例如 SparkSession.read .选项有。

val fileStream = scala.io.Source.getClass.getResourceAsStream("/lookup01.csv")
val inputDF = sparkSession.sparkContext.makeRDD(scala.io.Source.fromInputStream(fileStream).getLines().toList).toDF

当应用 makeRDD 时，我得到了 RDD，然后可以将其转换为数据帧，但似乎我失去了使用“读取”中的选项将 header 解析为模式的能力。

使用 makeRDD 时有什么解决方法吗？

另一个问题是我似乎必须手动将行解析为列。

Answer 1

你必须从classPath中得到正确的路径

考虑到你的文件在 src/main/resources 下:

val path = getClass.getResource("/lookup01.csv")

val v_lookup = sparkSession.read.option( "header", true ).csv(path)