python - 下载 1 天 azure blob 文件 python

Question

要求:

文件正在从各种计算机上传到 azure 容器中。需要编写一个 python 脚本从 azure 容器下载一天的文件，该文件将每天安排。

代码:

import datetime
import os
import pytz

from azure.storage.blob import BlobClient, ContainerClient

utc=pytz.UTC
container_connection_string ="CONNECTION_STRING"
container_service_client = ContainerClient.from_connection_string(conn_str=container_connection_string, container_name="CONTAINER_NAME")

date_folder = start_time.strftime("%d-%m-%Y")
base_path = r"DOWNLOAD_PATH"
count = 0
threshold_time = utc.localize(start_time  - datetime.timedelta(days = 1))
blob_list = container_service_client.list_blobs()

if not os.path.exists("{}\{}".format(base_path, date_folder)):
    os.makedirs("{}\{}".format(base_path, date_folder))
print("Starting")

for ind, blob in enumerate(blob_list):
    if threshold_time < blob.last_modified:
        count += 1
        print(count, blob.name)
        blob_name = blob.name       
        blob = BlobClient.from_connection_string(conn_str=container_connection_string, container_name="CONTAINER_NAME", blob_name=blob_name)
        with open("{}\{}\{}".format(base_path, date_folder, blob_name), "wb") as my_blob:
            blob_data = blob.download_blob()
            blob_data.readinto(my_blob)

问题:

上述脚本会迭代容器中的所有 Blob，并检查 Blob 是否少于一天，如果少于一天则下载它们。由于每天在 Blob 中上传 15,000 多个文件，遍历它们来识别今天的文件非常耗时，并且下载 Blob 需要大量时间。

Answer 1

使用当前的方法，我相信除了枚举 blob 并在客户端进行过滤以查找匹配的 blob 之外，没有其他方法。

<小时/>

但是我确实有一个替代解决方案。这是一个有点复杂的解决方案，但我想我还是会提出:)。

本质上，解决方案涉及利用 Azure Event Grid并在 Microsoft.Storage.BlobCreated 事件上调用 Azure 函数，该事件在创建或替换 Blob 时触发。此 Azure 函数会将 blob 复制到不同的 blob 容器。现在，每天都会创建一个新的 Blob 容器，并且该 Blob 容器将仅保存当天的 Blob。这使得对 blob 进行迭代变得更加容易。