google-cloud-storage - 为什么 gsutil rsync 会重新下载我们所有的文件？

Question

我们一直在使用 gsutil -m rsync -r使开发和部署框与 GCS 存储桶保持同步近 2 年没有任何问题。存储桶中大约有 85k 个对象。

直到最近，这还可以完美运行:我们每 15 分钟左右运行一次 deploy-box -> GCS rsync，以备份所有新上传的资源，然后在我们想要刷新本地时运行 GCS -> dev box rsync开发数据(在 OSX El Capitan 上运行)。

然而，在过去的几个月里，GCS->dev rsync 开始膨胀，下载越来越多的图像。

最初我只是想“太好了，我们正在上传更多资源”，但它的增长速度比数据快得多，直到今天它似乎正在下载整个 85k 图像。

我已经仔细检查过我在正确的地方，命令是正确的，路径是正确的，等等。对于所有这些 gsutil当我转到另一个终端并运行 find . -type f | wc -l 时，输出正在滚动显示大量“正在复制...”和“正在下载...”消息，充分利用我们的 100mbps 连接。每 10 秒在目标目录上显示，每分钟仅添加 2 或 3 个新文件。我查看了 gsutil 说它现在正在下载的文件的修改时间，并且在大多数情况下它们是旧的，一年或更长时间没有改变。意思是:它正在下载所有数据，使用大量时间和带宽，所有这些都是为了几百个文件。

最近的 OSX 有什么变化 gsutil版本？可能有错误吗？我什至如何开始追踪这个？还是举报？新闻组 gsutil-discuss和 gs-discussion已存档，讨论在gce-discussion都是关于使用 gsutil来自 GCE 实例。

谢谢!

Answer 1

我有一个类似的问题，即反复同步相同的文件。我没有那么多文件，所以您可能需要检查性能，但我决定使用 -c强制使用校验和而不是在我的构建过程中本地修改的 mtime 的选项。
我认为(并希望)文档有点错误，说明

compare checksums for files if the size of source and destination as well as mtime match

因为即使 mtime 不匹配，它似乎也使用校验和