python - 使用 python 将大 Azure blob 合并到一个本地文件

Question

我正在使用 python 3.6 和适用于 Azure blob 版本 1.5.0 的 python SDK，并且希望将多个 Azure blob 合并到单个本地文件中。我设法做到了这一点，但是当我尝试附加超出机器内存的 blob 时，操作失败。将 blob 内容按 block 写入文件的最佳方法是什么？这是我的代码，不适用于大于机器内存的 blob

blob_files_names = blob_service.list_blob_names(container_name=blob_container_name, prefix=prefix)
with open(trg_path, 'wb') as file:
    for blob_file_name in blob_files_names:
        blob = blob_service.get_blob_to_bytes(container_name=blob_container_name, blob_name=blob_file_name)
        file.write(blob.content)

Answer 1

最后我设法使用函数 get_blob_to_path 来做到这一点具有附加打开模式。它之所以有效，是因为此函数将每个 blob 内容按大小块 MAX_CHUNK_GET_SIZE 写入文件末尾。

blob_files_names = blob_service.list_blob_names(container_name=blob_container_name, prefix=prefix)
for blob_file_name in blob_files_names:
    blob_service.get_blob_to_path(container_name=blob_container_name, blob_name=blob_file_name,
                                  file_path=trg_path, max_connections=1, open_mode='ab')