excel - 加载 Excel 文件的强制选项是什么？

Question

我已经使用以下语法从 S3 加载了一个 excel 文件，但我想知道需要在此处设置的选项。

为什么必须设置以下所有选项来加载 excel 文件？这些选项都不是加载其他文件类型(如 csv、del、json、avro 等)的必需选项。

val data = sqlContext.read.
format("com.crealytics.spark.excel").
option("location", s3path).
option("useHeader", "true").
option("treatEmptyValuesAsNulls", "true").
option("inferSchema","true").
option("addColorColumns", "true").
load(path)

如果未设置上述任何选项(位置除外)，我会收到以下错误:

sqlContext.read.format("com.crealytics.spark.excel").option("location", s3path).load(s3path)

错误信息 :

Name: java.lang.IllegalArgumentException
Message: Parameter "useHeader" is missing in options.
StackTrace:   at com.crealytics.spark.excel.DefaultSource.checkParameter(DefaultSource.scala:37)
          at com.crealytics.spark.excel.DefaultSource.createRelation(DefaultSource.scala:19)
          at com.crealytics.spark.excel.DefaultSource.createRelation(DefaultSource.scala:7)
          at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:345)
          at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149)
          at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:132)
          at $anonfun$1.apply(<console>:47)
          at $anonfun$1.apply(<console>:47)
          at time(<console>:36)

Answer 1

spark-excel 的大部分选项为必填项，userSchema 除外和 sheetName .

您可以随时在可以找到 here 的 DataSource 源代码中进行检查。 .

您必须记住，此数据源或数据连接器包是在 spark 项目之外实现的，并且每个都带有自己的规则和参数。