python - 您如何让 Google App Engine 在下载过程中进行 gunzip？

Question

我试图通过如下设置响应 header ，让 Google App Engine 自动压缩我的 .gz blob 文件(单个压缩文件):

class download(blobstore_handlers.BlobstoreDownloadHandler):
    def get(self, resource):
        resource = str(urllib.unquote(resource))
        blob_info = blobstore.BlobInfo.get(resource)
        self.response.headers['Content-Encoding'] = str('gzip')
        # self.response.headers['Content-type'] = str('application/x-gzip')
        self.response.headers['Content-type'] = str(blob_info.content_type)
        self.response.headers['Content-Length'] = str(blob_info.size)
        cd = 'attachment; filename=%s' % (blob_info.filename)
        self.response.headers['Content-Disposition'] = str(cd)
        self.response.headers['Cache-Control'] = str('must-revalidate, post-check=0, pre-check=0')
        self.response.headers['Pragma'] = str(' public')
        self.send_blob(blob_info)

运行时，下载的文件没有 .gz 扩展名。但是，下载的文件仍然是 gzip 压缩的。下载数据的文件大小与服务器上的 .gz 文件大小匹配。另外，我可以通过手动压缩下载的文件来确认这一点。我试图避免手动 gunzip 步骤。

我试图让 blob 文件在下载过程中自动 gunzip。我做错了什么？

顺便说一下，gzip 文件只包含一个文件。在我的自托管(非谷歌)服务器上，我可以通过设置相同的响应头来完成自动 gunzip；不过，我的代码是用 PHP 编写的。

更新:

我重写了处理程序以提供存储桶中的数据。但是，这会生成 HTML 500 错误。文件在失败前已部分下载。改写如下:

class download(blobstore_handlers.BlobstoreDownloadHandler):
    def get(self, resource):
        resource = str(urllib.unquote(resource))
        blob_info = blobstore.BlobInfo.get(resource)
        file = '/gs/mydatabucket/%s' % blob_info.filename
        print file
        self.response.headers['Content-Encoding'] = str('gzip')
        self.response.headers['Content-Type'] = str('application/x-gzip')
        # self.response.headers['Content-Length'] = str(blob_info.size)
        cd = 'filename=%s' % (file)
        self.response.headers['Content-Disposition'] = str(cd)
        self.response.headers['Cache-Control'] = str('must-revalidate, post-check=0, pre-check=0')
        self.response.headers['Pragma'] = str(' public')
        self.send_blob(file)

这会在服务器终止并发出 500 错误之前将 6,094,848 字节文件中的 540,672 字节下载到客户端。当我从命令行对部分下载的文件发出"file"时，Mac OS 似乎正确地将文件格式识别为“SQLite 3.x 数据库”文件。知道为什么服务器上出现 500 错误吗？我该如何解决这个问题？

Answer 1

您应该首先检查您的请求客户端是否支持 gzip 压缩内容。如果它确实支持 gzip 内容编码，那么您可以使用适当的 content-encoding 传递 gzip 压缩的 blob。和 content-type header ，否则您需要为客户端解压缩 blob。您还应该验证您的 blob 的 content_type不是 gzip (这取决于您一开始是如何创建 blob 的!)

您可能还想看看 Google Cloud Storage，因为只要您在使用正确的内容编码和内容类型元数据存储数据之前正确压缩数据，它就会自动处理 gzip 传输。

请参阅此 SO 问题:Google cloud storage console Content-Encoding to gzip

或 GCS 文档:https://cloud.google.com/storage/docs/gsutil/addlhelp/WorkingWithObjectMetadata#content-encoding

您可以像在 AppEngine 中使用 blobstore 一样轻松地(如果不是更容易的话)使用 GCS，并且它似乎是 future 使用的首选存储层。我这样说是因为文件 API 已被弃用，这使得 blobstore 交互更容易，并且已经对 GCS 库做出了巨大的努力和改进，使 API 类似于基本的 python 文件交互 API

更新:

由于对象存储在 GCS 中，您可以使用 302 重定向将用户指向文件，而不是依赖 Blobstore API。这消除了 Blobstore API 和 GAE 使用您打算使用的内容类型和内容编码交付存储对象的任何未知行为。对于具有公共(public)读取 ACL 的对象，您可以简单地将它们定向到 storage.googleapis.com/<bucket>/<object>或 <bucket>.storage.googleapis.com/<object> .或者，如果您想让应用程序逻辑指定访问权限，您应该将对象的 ACL 保持为私有(private)并且可以使用 GCS Signed URLs创建在执行 302 重定向时使用的短期 URL。

值得注意的是，如果您希望用户能够通过GAE上传对象，您仍然需要使用Blobstore API来处理将文件存储在GCS中，但是您必须在上传到对象后修改对象确保使用正确的 gzip 压缩和内容编码元数据。

class legacy_download(blobstore_handlers.BlobstoreDownloadHandler):
    def get(self, resource):
        filename = str(urllib.unquote(resource))
        url = 'https://storage.googleapis.com/mybucket/' + filename
        self.redirect(url)