copy - 是否可以使用 s3cmd 将所有文件从一个 S3 存储桶复制到另一个 S3 存储桶？

Question

我对 s3cmd 非常满意，但有一个问题:如何将所有文件从一个 S3 存储桶复制到另一个？这可能吗？

编辑:我找到了一种使用 Python 和 boto 在存储桶之间复制文件的方法:

from boto.s3.connection import S3Connection

def copyBucket(srcBucketName, dstBucketName, maxKeys = 100):
  conn = S3Connection(awsAccessKey, awsSecretKey)

  srcBucket = conn.get_bucket(srcBucketName);
  dstBucket = conn.get_bucket(dstBucketName);

  resultMarker = ''
  while True:
    keys = srcBucket.get_all_keys(max_keys = maxKeys, marker = resultMarker)

    for k in keys:
      print 'Copying ' + k.key + ' from ' + srcBucketName + ' to ' + dstBucketName

      t0 = time.clock()
      dstBucket.copy_key(k.key, srcBucketName, k.key)
      print time.clock() - t0, ' seconds'

    if len(keys) < maxKeys:
      print 'Done'
      break

    resultMarker = keys[maxKeys - 1].key

同步几乎与复制一样简单。有 ETag、大小和最后修改时间字段可用于键。

也许这对其他人也有帮助。

Answer 1

s3cmd 同步 s3://from/this/bucket/s3://to/this/bucket/

有关可用选项，请使用:$s3cmd --help