python - 使用python将大文件下载到谷歌云存储

Question

我正在编写一个Python GAE 程序。我想做的是使用HTTP协议(protocol)下载一个文件并将其写入Google云存储。

但是如果我请求的文件很大(大于 1Mb)，

url = urllib2.urlopen(link)

不起作用。

它总是抛出 ResponseTooLargeError

这篇文章解释了为什么显示此错误:

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是它并没有解决我的问题，即将大文件下载到云存储中。

有人可以帮助我吗？谢谢!

Answer 1

URL Fetch 每个响应的限制是32MB。请参阅quotas and limits Python GAE SDK 部分。您将无法从一个请求中的网址复制大于 App Engine 大小的任何内容。现在，您可以使用 GCS 或 Blobstore 将较大的内容直接从本地文件存储上传到 GAE，而不是通过从 URL 复制来实现。