google-cloud-platform - 在 Google Cloud 中运行 Prefect flow serverless 的最佳实践

Question

我已经开始将 Prefect 用于各种项目，现在我需要决定 GCP 上哪种部署策略最有效。最好我想无服务器工作。 Comparing Cloud Run, Cloud Functions and App Engine ，我倾向于选择后者，因为它没有超时限制，而另外两个有 9 个响应。 15分钟。

我有兴趣了解人们如何无服务器部署 Prefect 流，以便调度/触发流以进行批处理，而代理在不使用时会自动缩小。

或者，更经典的方法是在 Compute Engine and schedule this via Cloud Scheduler 上部署 Prefect。 .但我觉得这有点过时，并没有充分体现 Prefect 的功能和 future 发展的灵活性。

Answer 1

Am interested to hear how people have deployed Prefect flows serverlessly, such that Flows are scheduled/triggered for batch processing, whilst the agent is automatically scaled down when not used.

级长有 blog post使用 AWS Lambda 进行无服务器部署，这是使用 GCP 执行相同操作的良好蓝图。这里的挑战是代理扩展 - 代理通过定期(每约 10 秒)轮询后端(无论是自我部署的 Prefect Server 还是托管的 Prefect Cloud )来工作。想到的一种可能性是使用云函数来启动进程中的代理，由您正在考虑的任何批处理/调度事件触发。您也可以使用 -max-polls CLI 参数或 kwarg 启动代理以查找运行；如果在您指定的多次轮询尝试后没有找到任何内容，它就会自行拆除。详情 here或在任何特定代理页面上。

但是，这对于长时间运行的流来说可能效率低下，并且您可能会达到资源上限；可能值得考虑触发自动缩放 Dask cluster如果工作负载足够高，则部署。 Prefect supports that natively with Kubernetes ，并有一个 Kubernetes agent与您的集群进行交互。我认为这将是最优雅和可扩展的解决方案，而不必走经典的 Compute Engine 路线，我同意它有些过时并且不提供出色的自动缩放或一流的管理。

路线图上有更好的无服务器执行支持，特别是无服务器代理正在开发中，但我没有关于何时发布的预计时间。

希望这有帮助! :)