amazon-web-services - 将多台机器的远程文件夹同步到一个 AWS 实例

Question

我有 3 个 AWS P 实例处理一些繁重的工作并将结果保存到相关 /home/user/folder此外，我有一个主服务器与我想从这 3 个实例收集结果相同的文件夹
每个实例都在整个任务的自己部分工作，它们在子文件夹中的结果不重叠
实例每个 2 TB，所以我想在它们出现后立即从每个实例中获得结果
这样当它的工作完成时，我不会花半天的时间将结果复制到主服务器
我认为解决这个问题的一种方法是在每个实例上运行这样的东西:

*/30 * * * * rsync /home/user/folder ubuntu@1.1.1.1:/home/user/folder

鉴于所有实例都是 AWS，还有其他更聪明的方法可以实现相同的结果吗？
我还考虑过 (1) 可分离存储和 (2) 存储在 S3 上，但作为 AWS 新手，我可能会忽略此类工作流程中的一些隐藏陷阱，尤其是在涉及 TB 级数据和昂贵实例时。
您如何从远程实例收集处理过的数据？

Answer 1

我会考虑使用 rclone 工具，它可以为共享 S3 存储桶轻松配置。请注意复制/同步模式。根据您的实例类型，它可以丰富多达几个千兆的吞吐量。
项目链接:rclone.org