python - 通过 API(从 S3)将大文件发送到 GAE Blobstore

Question

我正在尝试使用 filepicker.io 将存储在 S3 中的大文件 (50MB-2GB) 发送到 Google App Engine Blobstore(使用 Python)。我希望这种情况发生时无需在客户端浏览器上通过表单，因为它不符合项目要求(并且通常会因非常大的文件而挂起)。

我尝试了多种解决方案，包括:

• 尝试load the file into GAE with urlfetch (但 GAE has a 32MB limit 用于请求/响应)
• 在 python 中构造一个多部分表单并将其发送到 blobstore.create_upload_url() (无法通过 url 传输文件，并且由于 32MB 限制，无法在脚本中加载该文件)
• 使用 boto to read the file straight into the blobstore (连接超时，日志显示来自 boto 的 encountered HTTPException exception 触发来自 GAE 的 CancelledError: The API call logservice.Flush() was explicitly cancelled. 导致进程崩溃。

我正在努力寻找可行的解决方案。任何关于如何执行此传输的提示，或者如何将文件作为表单附件从 s3 传递而不首先在 python 中加载(即仅指定其 url)将非常感激。

Answer 1

BlobstoreUploadHandler 不受 32MB 限制:https://developers.google.com/appengine/docs/python/tools/webapp/blobstorehandlers 。但是，我不确定这如何适合您的应用程序。如果您可以将文件发布到由 BlobstoreUploadHandler 处理的端点，那么您就可以开始了。