python - 将 Excel 工作表读入 Spark 数据框 - 包问题

Question

我一直在尝试使用 crealytics Spark excel 库，但没有成功。

设置:在 Azure 上运行的 Databricks 集群从“com.crealytics:spark-excel_2.12:3.3.1_0.18.7”安装的软件包集群上的 Scala 版本是 11.3.x-scala2.12

尝试使用此库的代码非常简单:

sdf = spark.read.format("com.crealtyics.spark.excel").option("header","true").load(filepath)

但是错误信息如下:

Error when reading dbfs:/mnt/container/folder1/folder2/FileName.xlsx in as xlsx. An error occurred while calling o627.load. :java.lang.ClassNotFoundException: Failed to find data source:com.crealtyics.spark.excel. Please find packages athttps://spark.apache.org/third-party-projects.html

软件包已按预期安装:

这里缺少一些简单而明显的东西 - 但它是什么？预先感谢您提供的任何帮助。

Answer 1

对这个浪费的问题表示歉意，但我找到了解决方案，并想与面临类似问题的其他人分享。有很多网站仍然指向以前的代码，该代码指向 Maven 存储库。

使用带有数据源 API V2.0+ 的 Spark-Excel V2，对 Maven 存储库的引用可以替换为对“excel”的引用。

sdf = spark.read.format("excel").option("header","true").load(filepath)

更多详细信息请参见:https://index.scala-lang.org/crealytics/spark-excel请参阅标题功能