google-cloud-storage - 将 GCS 存储桶备份到存档级 GCS 存储桶

Question

GCS Transfer Service是定期传输数据的一个很好的解决方案。将一个存储桶同步到另一个存储桶(目标存储桶具有存档存储类)的适当设置是什么？

我担心的一个问题是，如果服务正在检查相同的对象，则可能会对存档类对象进行昂贵的操作。如果为了避免这些检查，我每天只复制过去 24 小时内的新文件，那么这个时间的准确性如何——我会因为工作开始时几分钟的时间抖动而错过一个文件吗？

Answer 1

虽然“适当的设置”完全取决于您的业务需求。一个好的方法可能是使用在标准存储桶上创建/完成时触发的 Cloud Function，它会在第二个存储桶中创建该对象的副本。

您可以在 python 中使用此函数作为指南:

from google.cloud import storage
from google.cloud.storage.blob import Blob

def hello_gcs(event, context):
    client = storage.Client()
    source_bucket = client.get_bucket("my_source_bucket)
    dest_bucket = client.get_bucket("my_destination_bucket")
    filename = str(event['id']).rsplit('/',1)[0]
    blob = Blob.from_string("gs://" + filename)
    source_bucket.copy_blob(blob,dest_bucket)