Boto Glacier - 使用分段上传上传大于 4 GB 的文件

Question

我定期使用 boto 将文件上传到 AWS Glacier，如下所示:

# Import boto's layer2
import boto.glacier.layer2

# Create a Layer2 object to connect to Glacier
l = boto.glacier.layer2.Layer2(aws_access_key_id=awsAccess, aws_secret_access_key=awsSecret)

# Get a vault based on vault name (assuming you created it already)
v = l.get_vault(vaultName)

# Create an archive from a local file on the vault
archiveID = v.create_archive_from_file(fileName)

但是，对于大于 4 GB 的文件，这将失败。

我假设这是因为如 Amazon Glacier FAQ 中所述:“单个上传请求中可以上传的最大文件为 4 GB。对于大于 100 MB 的项目，客户应考虑使用分段上传功能。”

如何将分段上传功能与 boto 和 AWS Glacier 结合使用？

Answer 1

我刚刚查看了消息来源，似乎 boto.glacier.vault.Vault.upload_archive() 自动完成所有魔法:

Adds an archive to a vault. For archives greater than 100MB the multipart upload will be used.

def upload_archive(self, filename, description=None):
    if os.path.getsize(filename) > self.SingleOperationThreshold:
        return self.create_archive_from_file(filename, description=description)
    return self._upload_archive_single_operation(filename, description)