python - 从 GCS 存储桶中的文件夹中删除数百万个对象

Question

我需要从 GCS 存储桶中的文件夹中删除数百万个对象。
这是我目前的实现。

bucket = self.storage_client.bucket(bucket_name)
blobs = bucket.list_blobs(prefix=folder_name)
            
for blob in blobs:
    blob.delete()

由于对象的数量较多，列出不是正确的方法。需要想办法做一些多线程的方法。

Answer 1

如果您想删除整个bucket对象，将bucket的生命周期设置为0将是一种快速删除的方法。
但是当你想删除一个文件夹时，这种方法不适用(它与删除整个对象的某些部分相同)。
如果要删除的文件夹占用了整个objcet的大部分，我认为通过生命周期管理删除整个bucket并创建带有剩余部分的新bucket可能是更快的方法。
使用 -m 编辑)gsutil rm 命令flag 可以多线程删除。这也可能是一种更快的方式。