gpt4 book ai didi

amazon-web-services - AWS S3 桶和谷歌云存储桶之间的实时同步

转载 作者:行者123 更新时间:2023-12-05 06:18:41 28 4
gpt4 key购买 nike

我有 AWS s3 存储桶,在 AWS firehose 中执行某些操作后,我每分钟都会收到多个 parquet 文件。现在我必须将这些文件与 GCP 云存储桶进行实时同步,因为我们有多个云环境,进一步的过程将在 GCP 云中进行。但我有一个问题,如何在两个云存储桶之间进行实时同步,以便一旦任何文件到达 AWS s3,它也应该同时到达 GCP 存储桶。请输入任何信息

最佳答案

如果您的字面意思是更新以原子方式发生在 S3 和 GCS 上,那是不可能的。你能做的最好的事情就是做一份工作,当一个更新完成时得到通知,并启动一个副本到另一个。您需要做一些工作来使作业在 transient 故障方面稳健。

关于amazon-web-services - AWS S3 桶和谷歌云存储桶之间的实时同步,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61170513/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com