google-cloud-storage - 将 Google Cloud Storage 与 rsync 结合使用

Question

我是 Google Cloud 的新手。我们历来使用 AWS 进行在线备份——本质上，我们的本地服务器运行 rsync 到 AWS 的 EC2 实例并且一切正常。我现在正尝试从 AWS 迁移到 Google，当然设置非常不同。使用 gsutil rsync 在我看来好像我根本不需要启动计算引擎，我可以直接将东西插入 gs://aws_mnt 存储桶

在我们的 AWS 实例上安装了 SDK 之后，我能够使用 gsutil cp -n 非常轻松地将所有备份推送到 gs://aws_mnt 存储桶

但展望 future ，我想在使用 rsync 而不是 cp 的本地服务器上运行一个 cron 作业，原因很明显。

我有两个问题:

1. 尽管阅读了相应的文档 (here) 我还是太蠢了，我不知道如何永久授权本地服务器，所以我不必执行 gcloud auth 登录并从浏览每个 session ，至于一个不会真正起作用的 cron 作业。

2. 当我尝试从本地服务器使用 gsutil rsync 到从 AWS 预填充的 gs://aws_mnt 存储桶时，出现错误:

gsutil rsync/mnt/archive/backups gs://aws_mnt/kahless建立同步状态...跳过云子目录占位符对象 gs://aws_mnt/kahless/开始同步

有一些关于这个错误的讨论on github我已经从

产生了详细的输出

gsutil -D -m rsync/mnt/archive/backups gs://aws_mnt/kahless

但由于这是 SDK 的全新安装，我无法想象线程尚未得到处理，所以我一定是做错了什么？

俄罗斯

Answer 1

回答您的问题:

1. 一旦您使用 gcloud auth 配置了凭据，“gcloud auth login”命令将导致它们被选中，直到您登录到不同的凭据...并且该状态将持续存在并且不需要您通过除非/直到您撤销这些凭据，否则再次浏览器 session 。注意:如果您正在考虑从无人参与的脚本(例如，通过 cron)运行命令，请考虑使用服务帐户凭据。更多详情请见https://developers.google.com/cloud/sdk/gcloud/#gcloud.auth

2. “跳过...”消息不是错误 - 它只是通知您 gsutil 正在跳过尝试下载占位符对象，因为这些对象在以下目录中不需要(并且会干扰)本地文件系统。我将在下一版本的 gsutil 中更新消息以使其更加清晰。所以，你看到的是 gsutil rsync 的第二次运行在比较源和目标之后没有发现任何事情，并且正常完成。