python - 通过流下载 azure blob - 导出 137

Question

我正在尝试通过 Azure-python-sdk get_blob_to_stream 下载大文件，但是，我的程序不断退出并返回代码 137 - 这似乎与内存不足有关。 (我可以在顶部看到 python 正在消耗越来越多的内存，直到它被杀死)。

代码:

with io.open(file_path, 'w') as file:
    self.blob_service.get_blob_to_stream(container_name='container', blob_name=blob_name, stream=file)

我正在使用azure-sdk-for-python和 get_blob_to_stream为此，文件约为 6.5 GB。

该文件被创建为 0 字节，并且没有写入任何内容 - 我在这里做了明显错误的事情吗？

Answer 1

下载 SDK 并浏览代码后，我找到了如何下载这个大块。

1. 您必须提供大于 1 的 max_connections 值 - 这样就可以分块下载文件并将其写入流中。
2. 您需要传入二进制流('wb')

问题示例中的工作代码:

with io.open(file_path, 'wb') as file:
    self.blob_service.get_blob_to_stream(container_name='wxdata', blob_name=blob_name, stream=file, max_connections=2)