python-3.x - 从 Azure Databricks 读取 Excel 文件

Question

我正在尝试从 Azure Databricks 准备 Excel 文件 (.xlsx)，文件位于 ADLS Gen 2 中。
例子:

srcPathforParquet = "wasbs://hyxxxx@xxxxdatalakedev.blob.core.windows.net//1_Raw//abc.parquet"
srcPathforExcel = "wasbs://hyxxxx@xxxxdatalakedev.blob.core.windows.net//1_Raw//src.xlsx"

从路径读取 Parquet 文件工作正常。

srcparquetDF = spark.read.parquet(srcPathforParquet )

从路径读取excel文件抛出错误: 没有这样的文件或目录

srcexcelDF = pd.read_excel(srcPathforExcel , keep_default_na=False, na_values=[''])

Answer 1

方法pandas.read_excel不支持使用 wasbs或 abfss访问文件的方案 URL。更多详情请引用here
所以如果你想用 pandas 访问文件，我建议你创建一个 sas token 并使用 https使用 sas token 的方案来访问文件或将文件下载为流，然后使用 pandas 读取它。同时，您还将存储帐户挂载为文件系统，然后按照@CHEEKATLAPRADEEP-MSFT 所说的那样访问文件。
例如

使用 sas token 访问

通过 Azure 门户创建 sas token

代码

pdf=pd.read_excel('https://<account name>.dfs.core.windows.net/<file system>/<path>?<sas token>')
print(pdf)

将文件下载为流并读取文件

安装包azure-storage-file-datalake和 xlrd在数据 block 中使用 pip

代码

import io

import pandas as pd
from azure.storage.filedatalake import BlobServiceClient
from azure.storage.filedatalake import DataLakeServiceClient

blob_service_client = DataLakeServiceClient(account_url='https://<account name>.dfs.core.windows.net/', credential='<account key>')

file_client = blob_service_client.get_file_client(file_system='test', file_path='data/sample.xlsx')
with io.BytesIO() as f:
  downloader =file_client.download_file()
  b=downloader.readinto(f)
  print(b)
  df=pd.read_excel(f)
  print(df)

此外，我们还可以使用 pyspark 读取 excel 文件。但是我们需要添加jar com.crealytics:spark-excel在我们的环境中。更多详情请引用 here和 here
例如

加包com.crealytics:spark-excel_2.12:0.13.1通过行家。此外，请注意，如果您使用 scala 2.11，请添加包 com.crealytics:spark-excel_2.11:0.13.1

代码

spark._jsc.hadoopConfiguration().set("fs.azure.account.key.<account name>.dfs.core.windows.net",'<account key>')

print("use spark")
df=sqlContext.read.format("com.crealytics.spark.excel") \
        .option("header", "true") \
        .load('abfss://test@testadls05.dfs.core.windows.net/data/sample.xlsx')

df.show()