google-cloud-platform - Cloud Dataflow 流式处理作业可以扩展到零吗？

Question

我正在使用 Cloud Dataflow 流管道将从 Pub/Sub 接收到的事件插入 BigQuery 数据集。我需要几个来保持每项工作的简单和易于维护。

我担心的是全局成本。数据量不是很大。并且在一天中的几个时段内，没有任何数据(发布/订阅上的任何消息)。

我希望 Dataflow 缩放到 0 个 worker ，直到收到新消息。但似乎最低 worker 是 1。

因此，每天每项工作的最低价格是:24 个 vCPU 小时......所以每月至少 50 美元/工作。 (按月使用无折扣)

我计划每天通过 api 运行和耗尽我的工作几次，以避免 1 个全职员工。但这似乎不是像 DataFlow 这样的托管服务的正确形式。

有什么我错过了吗？

Answer 1

Dataflow 不能扩展到 0 个 worker ，但您的替代方案是使用 Cron 或 Cloud Functions要在事件触发时创建 Dataflow 流作业，并自行停止 Dataflow 作业，您可以阅读答案 to this question .

你可以找到一个例子 here对于这两种情况(Cron 和 Cloud Functions)，请注意 Cloud Functions 不再处于 Alpha 版本中，并且自 7 月以来它处于通用版本中。