python - Databricks - pyspark.pandas.Dataframe.to_excel 无法识别 abfss 协议(protocol)

Question

我想使用 Python 中的 Azure Databricks 将 Dataframe (pyspark.pandas.Dataframe) 作为 Excel 文件保存在 Azure Data Lake Gen2 上。我已切换到 pyspark.pandas.Dataframe，因为它是自 Spark 3.2 以来推荐的一个。

有一种名为 to_excel(here 文档)的方法，允许将文件保存到 ADL 中的容器中，但我遇到了文件系统访问协议(protocol)的问题。在同一个类中，我使用 abfss 方法来使用 to_csv 和 to_parquet 方法，并且我想在 Excel 中使用相同的方法。

所以当我尝试使用以下方法保存它时:

import pyspark.pandas as ps
# Omit the df initialization
file_name = "abfss://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="d3909c9d87929a9d968193809681859a90969290909c869d87fdb7b5a0fdb0bca1b6fda4babdb7bca4a0fdbdb6a7" rel="noreferrer noopener nofollow">[email protected]</a>/FILE.xlsx"
sheet = "test"
df.to_excel(file_name, test)

我从 fsspec 收到错误:

ValueError: Protocol not known: abfss

有人可以帮我吗？

提前致谢!

Answer 1

pandas 数据框不支持该协议(protocol)。在 Databricks 上，您似乎只能通过 Spark dataframe 访问和写入 abfss 上的文件。所以，解决方案是在本地写入文件并手动移动到abfss。请参阅此答案 here .