linux - 如何 scp 到 Amazon s3？

Question

我需要将 ~2TB 的备份文件发送到 S3。我想最简单的选择是 Linux scp 命令(有 difficulty 和 s3cmd 并且不希望过度杀伤 java/RoR 这样做)。

但是我不确定是否可行:How to use S3's private and public keys with scp, and don't know what would be my destination IP/url/path?

感谢您的提示。

Answer 1

截至 2015 年，不支持 SCP/SSH(并且可能永远不会因为其他答案中提到的原因)。

用于将文件复制到/从 S3 复制文件的官方 AWS 工具

1. command line tool (pip3 install awscli) - 注意需要指定凭据，我更喜欢通过环境变量而不是文件:AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY。

   aws s3 cp /tmp/foo/ s3://bucket/ --recursive --exclude "*" --include "*.jpg"
   

   • http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

   和一个类似 rsync 的命令:

   aws s3 sync . s3://mybucket
   

   • http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

2. 网页界面:

   • https://console.aws.amazon.com/s3/home?region=us-east-1

非 AWS 方法

任何其他解决方案都依赖于第三方可执行文件(例如 botosync、jungledisk...)，只要它们受支持，它们就可以很好。但是随着时间的流逝，第三方工具来来去去，您的脚本的保质期会越来越短。

• https://github.com/ncw/rclone

---

编辑:实际上，AWS CLI 是基于 botocore 的:

https://github.com/boto/botocore

因此，botosync 作为一位年长的政治家，应该得到比我可能给予的更多的尊重。