python-3.x - 谷歌云 : Choosing the right storage option

Question

我正在用 Python 开发一个分布式应用程序。该应用程序有两个主要的包，包 A 和包 B，它们分别工作，但通过队列相互通信。换句话说，包 A 生成一些文件并将它们入队(推送)到队列，包 B 在先到先服务的基础上将文件出列(弹出)并处理它们。包 A 和 B 都将作为 docker 容器部署在 Google Cloud 上。

我需要计划什么是保存文件和队列的最佳存储选项。文件和队列可以临时存储和使用。

我认为我的选择是云存储桶或谷歌数据存储，但不知道如何选择，什么是最好的选择。最好的选择是从开发方面来看具有低成本、可靠和易于使用的解决方案。

欢迎任何建议......谢谢!

Answer 1

Google Cloud Storage听起来对您来说是正确的选择，因为它支持大文件。您不需要数据存储等提供的功能，例如其他字段的查询。

如果您只需要处理一次文件，则在首次上传时，可以使用GCS pubsub notifications并从 pubsub 触发您的处理器。

如果您需要更复杂的任务，例如一个任务可以分派(dispatch)给多个在同一个文件上操作的子任务，那么最好使用单独的任务系统，如 celery并在任务定义中传递 GCS URL。