google-app-engine - 上传 100 万张图片到 BlobStore

Question

我对一般的 GAE 和 Web 开发还很陌生，我正在尝试使用 GAE BlobStore。我正在使用 python 似乎找不到任何有关将大量文件上传到 BlobStore 的资源。

我已经阅读了很多资源和示例，但它们似乎对这个特定问题没有帮助。

有没有人有这方面的资源或经验？

Answer 1

从专用服务器迁移到应用引擎时，我的项目也有类似的要求。我们没有动 100 万，但大约是 100000。

花了一些时间，但最终完成了。

这是使用非常简单的解决方案完成的。刚刚创建了一个文件上传服务，就像示例中的一样on blogstore docs .

class UploadHandler(blobstore_handlers.BlobstoreUploadHandler):
  def get(self):
    upload_url = blobstore.create_upload_url('/upload')
    self.response.write(upload_url)

  def post(self):
    upload_files = self.get_uploads('file')
    blob_info = upload_files[0]
    self.response.write(blob_info.key())

然后使用上传脚本从本地主机上传文件。

这样的脚本可以用 python 编写，甚至可以通过 find、curl 和 xargs 的组合用 shell 脚本编写。

对于使用多个线程进行加速并并行进行 32 次上传有帮助。

为了健壮性，上传文件后，我们可以尝试下载它并比较大小/md5，如果出现问题则重新上传。