python - 使用 Django-storages 分段上传到 S3

Question

我正在使用 django-storages 将大文件上传到 s3。目前正在测试大小为 1GB 的文件，并希望将其分成多个部分以便更快地上传。

我尝试将 AWS_S3_MAX_MEMORY_SIZE 设置为 5mb 以查看是否有帮助，但没有成功。我在 django 存储文档中找不到分段上传的任何其他设置 https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html .

Answer 1

我发现了这个问题:https://github.com/jschneier/django-storages/issues/30

似乎不久之后就添加了对 multipart-upload 的支持。从那时起，代码发生了一些变化，但您可以在这里找到最新的代码:https://github.com/jschneier/django-storages/blob/master/storages/backends/s3boto3.py

请参阅 S3Boto3StorageFile 类的 __init 方法:您可以将 buffer_size 指定为参数(最小值为 5MB - AWS 的要求)，或者您通过设置 AWS_S3_FILE_BUFFER_SIZE 来指定。

我看到这不在文档中，但代码表明它应该可以工作。希望这会有所帮助(我自己还没有尝试过)。

编辑:找到了可用设置的概述: https://gist.github.com/datagrok/2414f981380c751538751e7b3ab8e3e8