google-app-engine - 替代 Google Cloud Function 的替代方法

Question

我正在使用 Google Cloud Function 运行 ETL 作业:

1. 从 JSON API 获取数据
2. 使用另一个 API 丰富该数据的每一行
3. 写入云存储

云调度程序 cron 作业每晚运行以触发云功能。我还可以手动运行管道来查询特定日期。云函数是用 Python 编写的。

这项工作总是运行接近 9 分钟，但它在几个月内运行良好。不幸的是，现在我达到了 Google Cloud Functions 的 9 分钟硬限制，我想知道我最好的选择是什么:

1. 设置计算引擎
2. 设置应用引擎
3. 处理云函数以将其并行化并节省时间。

有没有更好的选择？哪种 GCP 服务最适合这项任务？你有什么最佳实践吗？我真的很喜欢云函数的简单性，但这当然需要权衡......

Answer 1

我推荐你使用Cloud Run .

• 今天暂停 15 分钟，很快还有 4 分钟!这足以满足您的处理需求。
• 如果您的代码可以利用多个 CPU，则您可以通过 Cloud Run 使用 2 个 CPU。
• 但是，如果可以同时进行多个处理，Cloud Run 最多可以在同一实例上处理 80 个并发请求，而 Cloud Function 只能处理一个。如果您在您的实例上执行高性能计算，最好避免并发。将 --concurrency 参数设置为 1 以获得与 Cloud Functions 完全相同的行为。

我wrote an article我将一个简单的函数包装到 Cloud Run 服务中。几行代码，一个额外的导入( flask )，就是这样!放一个 standard Dockerfile for python并部署!

有了新的Buildpack feature ，您甚至可以避免创建 Dockerfile! Buildpack 安装在 Cloud Shell 上，如果您使用 Cloud Build，我有一个可用的示例(请告诉我!)