python - App Engine 文件上传和分配给变量导致在服务 X 请求后出现内存使用错误

Question

我正在将图像(每张 <10MB)上传到一个简化的处理程序(如下)来展示这个问题。在 F1(128MB 的 ram)实例上处理 ~5 个请求后，我超出了内存限制:“在总共处理 6 个请求后，超过 152.414 MB 的软私有(private)内存限制”

在 F2(256MB 内存)实例上，我收到了更多请求，但数量不多:“在为总共 19 个请求提供服务后，超过了 258.156 MB 的软私有(private)内存限制”

示例代码:

import webapp2
class FileUploader(webapp2.RequestHandler):

  def post(self):
    test = self.request.get('file')
    self.response.out.write('hi')

app = webapp2.WSGIApplication([('/leak-uploader-example', FileUploader)],
                              debug=True)

日志中的文本表明我的应用程序可能存在内存泄漏。请求完成后，问题似乎出在 Python 或 App Engine 垃圾收集上。关于如何防止我的实例仅在几次请求后终止的任何建议？

更新 -- 我在使用 webapp 框架(而不是 webapp2)时看到了相同的行为:“在处理总共 6 个请求后超过了 143.121 MB 的软私有(private)内存限制”

Answer 1

为什么不为您的图片使用 Blobstore？ https://developers.google.com/appengine/docs/python/blobstore/#Python_Uploading_a_blob