amazon-web-services - 使用 FPT/SCP 将文件拉到 S3 的最佳方法是什么？

Question

每隔几分钟将 FPT/SCP 文件传送到 S3 的最佳、轻量级方法是什么？所以 wget/curl 可以工作。自定义解决方案也可以工作，也许 Java 和 DB 来维护状态。任何想法都会有所帮助。

Answer 1

只需使用 s3cmd 或 boto 或 S3 command-line tools或者……嗯……还有很多其他的选择。

基本上你只是发布到 S3 API。您可以使用 AWS 的无数开发工具包以几乎任何语言进行操作。 s3cmd但是，它是一个不错的、轻量级的小型 CLI 工具，可能比您需要的还要多。

您的评论表明您正在寻找略有不同的东西。以下是基于文件源和目标的一些建议:

如果您要移动文件 从 EC2 或您的本地主机到 S3 , 使用 s3cmd .如果您需要定期运行它，请考虑 cron job .以下将每五分钟运行一次。

*/5 * * * * s3cmd sync --delete-removed my_local_directory/ s3://my-bucket/path/

如果您要移动文件 从 S3 到 EC2 或您的本地主机 , 使用 s3cmd 但反转语法:

*/5 * * * * s3cmd sync s3://my-bucket/path/ my_local_directory/

如果您要移动文件 从您的本地主机到 EC2 ，考虑 scp 或 rsync .