excel - 在 pyspark 中以第 3 行作为标题读取 excel 文件

Question

我想将读取的 excel 文件作为 spark 数据帧读取，第 3 行作为标题。将 excel 文件读取为 spark 数据帧，第 1 行作为标题的语法是:

s_df  = spark.read.format("com.crealytics.spark.excel") \
                           .option("header", "true") \
                           .option("inferSchema", "true") \
                           .load(path + 'Sales.xlsx')

和以第三行作为标题的 Pandas 数据帧读取的等效语法是:

p_df = pd.read_excel(path + 'Sales.xlsx',header=3)

我想在 pyspark 中做同样的事情，即读取 excel 文件作为 spark 数据帧，第三行作为标题。

Answer 1

使用 dataAddress 选项指定数据所在的单元格/行。由于您需要跳过两行，因此您的数据(包括标题)从 A3 行开始。

s_df = spark.read.format("com.crealytics.spark.excel") \
           .option("header", "true") \
           .option("inferSchema","true") \
           .option("dataAddress", "'Sheet1'!A3") \
           .load("yourfilepath")

另外，请注意，如果您的前两行为空，则不必指定 dataAddress。默认情况下将跳过前导空行。
查看文档 here