python - 如何使用 Azure 存储帐户连接字符串使用 Delalake python API 与 Deltalake 连接？

Question

我想要得到 .使用 Deltalake python API 存储在 Azure 存储帐户中的 parquet 文件。假设文件的位置采用这种格式，

location = "abfss://<container>@<StorageAccount>.dfs.core.windows.net/<filelocation>"

我尝试了documentation中给出的代码,

from deltalake import DeltaTable
dt = DeltaTable(location,storage_options = {connection_string =<SA_CONNECTION_STRING>)
dt.files()

当我尝试运行代码时，出现以下错误，

File "C:\Users\user1\Projects\workbook\.\main.py", line 59, in storage_deltalake
    dt = DeltaTable(x,storage_options=s)
  File "C:\Users\user1\Projects\workbook\venv\lib\site-packages\deltalake\table.py", line 90, in __init__     
    self._table = RawDeltaTable(
deltalake.PyDeltaTableError: Failed to read delta log object: Generic MicrosoftAzure error: At least one authorization option must be specified

我检查了连接字符串，它工作正常，所以我不确定为什么会引发身份验证错误。

我的问题陈述是我想读取存储帐户中文件夹内最后修改的 Parquet 文件。

任何人都可以帮助我解决此错误或指导我使用不同的解决方案来解决我的问题陈述吗？

Answer 1

这是 deltalake 0.6.0 回归错误(与切换到 object_store_rs 相关)。

有一个 PR 已打开，应该会恢复现有功能。 https://github.com/delta-io/delta-rs/pull/787

您可以升级到 deltalake 0.6.1 并看看是否可以解决您的问题吗？