gpt4 book ai didi

amazon-s3 - 将数据从Google Cloud Storage导出到Amazon S3

转载 作者:行者123 更新时间:2023-12-03 14:40:38 25 4
gpt4 key购买 nike

我想将数据从BigQuery中的一个表转移到Redshift中的另一个表中。
我计划的数据流如下:

BigQuery-> Google云存储-> Amazon S3-> Redshift

我知道Google Cloud Storage Transfer Service,但不确定它是否可以帮助我。从Google Cloud文档中:

Cloud Storage Transfer Service

This page describes Cloud Storage Transfer Service, which you can use to quickly import online data into Google Cloud Storage.



我了解可以使用此服务将数据导入Google Cloud Storage中,而不从中导出。

有什么方法可以将数据从Google Cloud Storage导出到Amazon S3?

最佳答案

您可以使用gsutil,通过以下命令将数据从Google Cloud Storage存储桶复制到Amazon存储桶:

gsutil -m rsync -rd gs://your-gcs-bucket s3://your-s3-bucket

请注意,上面的-d选项将导致gsutil rsync从S3存储桶中删除GCS存储桶中不存在的对象(除了添加新对象之外)。如果您只想将新对象从GCS添加到S3存储桶,则可以不选择该选项。

关于amazon-s3 - 将数据从Google Cloud Storage导出到Amazon S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39329580/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com