gpt4 book ai didi

amazon-web-services - 如何在 Amazon-S3 和 Google Cloud Storage 之间执行文件完整性检查

转载 作者:行者123 更新时间:2023-12-01 12:20:04 26 4
gpt4 key购买 nike

我正在将我的数据从 Amazon-S3 迁移到 Google-Cloud Storage。我使用 gsutil 复制了我的数据:

$ gsutil cp -R s3://my_bucket/* gs://my_bucket

我接下来要做的是检查 S3 中的所有文件是否正确存在于 Google 存储中。

目前我所做的只是在文件中打印文件列表,然后执行简单的 Unix diff 但这并没有真正检查文件完整性。

检查它的好方法是什么?

最佳答案

gsutil 验证在云提供商之间复制的对象的 MD5 校验和,因此如果递归复制命令成功完成(shell 返回代码 0),您应该已成功复制所有内容。请注意,gsutil 无法比较大于 5 GiB 的 S3 对象的校验和(具有 gsutil 不支持的非 MD5 校验和),并且会针对遇到的情况打印警告。

关于amazon-web-services - 如何在 Amazon-S3 和 Google Cloud Storage 之间执行文件完整性检查,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45099327/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com