ios - S3 上传程序在尝试上传大文件时抛出异常

Question

我试图使用适用于 MAC 的 Amazon sdk 上传一个巨大的文件 (8GB)(虽然他们没有适用于 MAC 的 sdk，但我通过删除 UIKit 引用修改了 IOS sdk 源代码并为 MAC 重新编译)。它实际上适用于文件，可能高达 800MB ~ 1GB。但是每当我尝试上传一个 8GB 的​​文件时，我都会遇到异常。异常表示“互联网连接丢失”。奇怪，我的互联网连接很好(2Mbps 上传速度 :-/)。我正在使用分段上传 api 并上传 5MB 的 block 。当我遇到异常时，我不会放弃，但我会重试同一个 block 至少 5 次，然后放弃。在这次重试之间，我睡了几秒钟。但最神奇的是，一旦chunk upload 遇到异常，retry 将无法正常工作。我不明白。谁能帮帮我？？？？

提前致谢!

下面我也在添加代码!

        fileHandle = [NSFileHandle fileHandleForReadingAtPath:filePath];

        S3InitiateMultipartUploadRequest* initReq = [[S3InitiateMultipartUploadRequest alloc] initWithKey:requestDetails.md5 inBucket:requestDetails.bucket];
        initReq.contentType = requestDetails.contentType;

        S3MultipartUpload* upload = [amazonS3Client_ initiateMultipartUpload:initReq].multipartUpload;
        S3CompleteMultipartUploadRequest* compReq = [[S3CompleteMultipartUploadRequest alloc] initWithMultipartUpload:upload];


        compReq.contentType = requestDetails.contentType;

        NSData* data = [fileHandle readDataOfLength:PART_SIZE];
        int part = 0;
        ...............................
        while([data length] > 0)
        {
                @try {
                    S3UploadPartRequest* upReq = [[S3UploadPartRequest alloc] initWithMultipartUpload:upload];
                    upReq.partNumber = part + 1;
                    upReq.contentLength = data.length;
                    upReq.data = data;
                    upReq.contentType = requestDetails.contentType;

                    response = [amazonS3Client_ uploadPart:upReq];
                    [compReq addPartWithPartNumber:(part + 1) withETag:response.etag];

                    offset += [data length];

                    [fileHandle seekToFileOffset:offset];
                    data = [fileHandle readDataOfLength:PART_SIZE];
                    part++;
                    ........................
                }
                @catch (AmazonClientException *exception) {
                    .............................

                    if([exception.message rangeOfString:@"expire"].location != NSNotFound)
                    {
                        // renew credentials code 
                        return [self multipartUpload:requestDetails withFilePath:filePath];
                    }

                }
            }
      [amazonS3Client_ completeMultipartUpload:compReq];

Answer 1

我是 AWS SDK for iOS 的维护者之一。虽然我们还没有测试过这种大小的文件，但我想不出 SDK 中的任何内容会导致这种情况。您可能想尝试和/或包含在问题中的一些事情:

1. 适用于 iOS 的 AWS 开发工具包的最新版本包含一个选项，用于禁用来自开发工具包本身的异常。这可能会显示异常源是在 SDK 中还是其他地方。

2. 你说你正在重试异常，但你是重新使用请求还是创建一个新请求？包含您的代码可能有助于其他人提供建议。

3. 当你进入这个状态后，你还能执行任何其他操作吗？您确定您没有以某种方式重置您的网络连接吗？

跟进

过去几天，我花了很多时间尝试使用最新版本的适用于 iOS 的 AWS 开发工具包重现该问题，但没有成功。我能够使用分段上传将 10GB 的文件成功上传到 Amazon S3。

我想总结一些发现并为后续步骤提供一些建议:

1. 您真的应该更新 SDK。自您下载以来的 6 个月内，适用于 iOS 的 AWS 开发工具包进行了多次更新，其中一些与连接处理有关，可能有助于解决此问题。

2. 您对互联网连接的测试可能没有测试正确的东西。您没有包含此代码，因此尚不清楚，但如果您要测试的只是本地设备具有链接并且可以访问其网关，那么这不一定是表明您的设备没有问题的有效指标连接到 Amazon S3。您遇到超时(稍后会详细介绍)这一事实表明您的计算机在连接 Amazon S3 时遇到了问题。发生这种情况的原因有很多，包括网络硬件故障或您的 ISP 的明确流量调整。

3. SDK 在超时处理方面存在不一致。对于除 S3 之外的所有客户端，超时应用于 NSURLConnection 对象以及处理实际请求。对于 S3，它仅适用于请求的处理，这意味着 NSURLConnection timeoutInverval 属性未修改。 NSURLConnection timeoutInterval 属性是建立连接的超时时间。一旦发送或接收数据，即使只是涓涓细流，NSURLConnection 也不会超时。这意味着如果您收到超时异常，您的计算机将无法在默认超时间隔 (60s) 内建立与 Amazon S3 的连接。我们将审查并适当修补 SDK 以解决此不一致问题。

4. 正如我在原始回答中所述，最好确认您是否可以向 Amazon S3 发出另一个请求(如列表存储桶/对象)以及访问另一个外部资源(如 google.com)你进入了这种失败状态。这至少会让您有能力去您的 ISP 并就正在发生的事情提出更好的问题。

希望这些信息对您有所帮助