amazon-web-services - 您如何找到用于在 Amazon S3 上创建现有多部分对象的部分大小？

Question

文件中有大量部分，很容易找到合适的部分大小(因为可能的部分大小的排列数量有限，并且通常可以假设部分大小落在 MiB 或 MB 边界上) .

但是，对于给定的上传，随着部分数量的减少，部分大小会出现许多不同的可能性，并且很难有一种算法来猜测这个数字并且很耗时来确认计算。

知道零件尺寸很有用，因为在 S3 中用于 ETag 计算的算法仅在有效负载匹配时为两个相同的对象生成相同的值并且这两个对象是在期间使用相同的零件尺寸创建的上传。否则，它会为两个相同的对象生成不同的 ETag 值。 (HTTP 本身并不要求两个相同的对象具有相同的 ETag，但匹配的 ETag 值对于完整性验证很有用。

是否可以了解用于在 S3 中上传现有对象的部分尺寸？

Answer 1

我将回答我自己的问题，因为这一直困扰着我一段时间，我刚刚找到了解决此问题的方法。对于复制存储桶的内容，我所见过的大多数(如果不是全部)解决方案都采用猜测零件大小并简单地放弃在源存储桶和目标存储桶上匹配 etag 的想法。有趣的是，aws 自己发布了钟楼框架，该框架依靠猜测部件号，并且仅假设它已被 aws cli 工具复制。

事实证明，有一种记录方式可以做到这一点:aws cli 工具有一个 get-object 和 head-object api 选项，它可以让您像这样指定您想要的部件号:

aws s3api head-object --bucket YOURBUCKET --key YOURKEY --part-number 1

这将返回一个如下所示的标题:

{
    "AcceptRanges": "bytes", 
    "ContentType": "application/octet-stream", 
    "LastModified": "Mon, 31 Jul 2017 08:23:11 GMT", 
    "ContentLength": 8388608,
    "ETag": "\"XXXX-6\"", 
    "ServerSideEncryption": "AES256", 
    "PartsCount": 6, 
    "Metadata": {}
}

在这种情况下，如您所见，我们通过第 1 部分的 ContentLength header 告诉我们此上传的部分大小应该是多少:即 8 MB，与使用的大小相同用于上传此对象...

如果您使用 --debug 标志，您可以看到在 REST 世界中这是如何完成的:他们只是添加了一个 url 参数 partNumber=1

aws --debug s3api head-object --bucket YOURBUCKET --key YOURKEY --part-number 1

....

2017-07-31 16:21:46,968 - MainThread - botocore.endpoint - DEBUG - Making request for OperationModel(name=HeadObject) (verify_ssl=True) with params: 
{'body': '', 'url': u'https://s3.amazonaws.com/YOURKEY/?partNumber=1', 
'headers': {'User-Agent': 'aws-cli/1.11.127 Python/2.7.12 Linux/4.4.35-33.55.amzn1.x86_64 botocore/1.5.90'}, 
'context': {'auth_type': None, 'client_region': 'us-east-1', 'signing': {'bucket': u'YOURBUCKET'}, 'has_streaming_input': False, 'client_config': <botocore.config.Config object at 0x7f20a8e1ff50>}, 
----->  'query_string': {u'partNumber': 1},   <-----
'url_path': u'/YOURBUCKET/YOURKEY', 'method': u'HEAD'}

....

下一点是弄清楚如何签署这样的网址。 aws cli 命令“aws s3 presign”无法做到这一点。