python - Boto2 文件上传出现 ConnectionResetError

Question

我正在尝试使用以下问题中的代码将文件上传到 S3 存储桶:https://stackoverflow.com/a/15087468/291372 。我正在使用 boto2 (boto3 有太多依赖项)。我尝试了很多方法，但没有一个适合我。检查了 CORS 的存储桶并设置为允许来自“*”的来源

这是我的代码:

# -*- coding: utf-8 -*-

import boto
import boto.s3
import sys
from boto.s3.key import Key


AWS_ACCESS_KEY_ID = 'XXXXXXXXXXXXX'
AWS_SECRET_ACCESS_KEY = 'YYYYYYYYYYYYYYYYYYYYYy'
S3_BUCKET = 'ZZZZZZZZZZZZZZZZZZZZZZ'

conn = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = conn.get_bucket(S3_BUCKET)

testfile = "test.jpg"
print('{}: Uploading {} to Amazon S3 bucket {}'.format(datetime.now().time().isoformat(), testfile, S3_BUCKET))

def percent_cb(complete, total):
    print(datetime.now().time().isoformat(), complete, total)
#    sys.stdout.write('.')
#    sys.stdout.flush()


k = Key(bucket)
k.key = 'my test file'
k.set_contents_from_filename(testfile, cb=percent_cb, num_cb=5)

这是我可以在控制台中看到的结果:

19:40:19.760703: Uploading test.jpg to Amazon S3 bucket pickettagent-phase2
19:40:21.394796 0 85937
19:40:22.061834 24576 85937
19:40:24.235959 0 85937
19:40:24.973001 24576 85937
19:40:27.542148 0 85937
19:40:30.110295 0 85937
19:40:38.648783 0 85937
19:40:49.520405 0 85937
19:41:12.959745 0 85937
19:41:13.644785 24576 85937
Traceback (most recent call last):
 ......
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

有时第一列(完整)仅包含零。

此后代码失败并出现异常 ConnectionResetError: [WinError 10054] 现有连接被远程主机强制关闭

我尝试上传的文件约为 85Kb，因此应该会在一秒钟内上传，但实际上整个过程(从开始到异常)大约需要 40-60 秒。

我尝试了其他解决方案(tinys3、flask-s3、flask-upload)，但没有任何效果!

如何上传文件到S3存储桶？也许我错过了某种权限？

Answer 1

试试这个代码，我用它上传很多文件(其中大多数> 1MB):

from boto.s3.connection import S3Connection
from contextlib import contextmanager

@contextmanager
def connect_to_s3():
    conn = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)

    try:
        yield conn
    finally:
        conn.close()

with connect_to_s3() as conn:
    bucket = conn.get_bucket(S3_BUCKET)
    key = bucket.new_key()
    key.set_contents_from_filename(file_name, cb=percent_cb, num_cb=5)