rsync - 传输数百万张图像——RSync 不够好

Question

我们有一个 130GB 大小的文件夹，其中包含数百万个微小 (5-20k) 图像文件，我们需要将它从旧服务器 (EC2) 移动到新服务器(德国 Hetzner)。

我们的 SQL 文件 SCP 很快就结束了——至少 20-30mb/s——并且第一个大约 5GB 左右的图像传输也非常快。

然后我们回家了一天，今天早上回来，我们的图像传输速度减慢到只有约 5kb/s。 RSync 在达到工作负载的中间时似乎变慢了。我已经研究了替代方案，例如 gigasync (这似乎不起作用)，但每个人似乎都同意 rsync 是最好的选择。

我们有这么多文件，做 ls -al需要一个多小时，我所有尝试使用 python 将我们的传输批量转换成更小的部分都已经吃光了所有可用的 RAM，但没有成功完成。

如何使用现成的工具和一些简单的脚本以合理的速度传输所有这些文件？

Answer 1

我不知道它是否会明显更快，但也许

cd /folder/with/data; tar cvz | ssh target 'cd /target/folder; tar xvz'

会做的伎俩。

如果可以，也许可以重组您的文件安排。在类似的情况下，我将文件按项目或仅 1000 组组合在一起，以便单个文件夹一次不会有太多条目。

但我可以想象 rsync的必要性(否则我也很喜欢)保留传输文件列表是造成速度缓慢的原因。如果 rsync进程占用了太多的 RAM，它必须交换，一切都丢失了。

所以另一个选择可能是 rsync一个文件夹一个文件夹。