python - 无法使用 python azure-storage-file-datalake SDK 在 Azure Data Lake Gen2 中创建追加 Blob

Question

我的用例要求我不断地将传入消息写入存储在 Azure Data Lake Gen2 存储帐户中的文件中。我可以通过触发函数来创建文件，该函数使用 python azure-storage-file-datalake SDK 与存储帐户进行交互。

问题是，默认情况下，使用 DataLakeFileClient 类的 create_file() 方法创建的文件是 block Blob(并且没有任何参数来更改创建的 Blob 类型)，这意味着我无法附加数据新消息到达后发送给他们。

我尝试使用 python azure-storage-blob SDK，但是，它无法使用路径来查找数据湖容器内的文件。

这将是我如何创建文件的示例，尽管这些文件以 block Blob 的形式出现:

if int(day) in days:  
    day_directory_client.create_directory()                                     
    file_client = day_directory_client.create_file(f'{json_name}')                                                 
    file_client.append_data(data=f'{str(message_body)}\n', offset=0,  
    length=len(str(message_body)))                                     
    file_client.flush_data(len(str(message_body)))                                     
    write_to_cache(year, month, day, json_path)

非常感谢我能得到的任何帮助，谢谢!

Answer 1

如果要在 Azure Data Lake Gen2 帐户中创建追加 blob，则需要使用 azure-storage-blob包而不是 azure-storage-file-datalake .

azure-storage-file-datalake 包是 Azure Data Lake Store REST API 的包装器它不允许您指定 blob 类型。