google-cloud-dataflow - 解释与 Cloud Dataflow 一起使用时 Google Cloud PubSub 的成本

Question

pubsub pricing 上的文档非常少。有人可以解释以下场景的成本吗？

每个事件的数据大小 = 0.5 KB

每天的数据大小 = 1 TB

只有一个发布者应用程序和两个数据流管道订阅。

我能想出的非常粗略的估计是:

1x 出版

2x 订阅(每个订阅 1x)

2x 确认(每个订阅确认 1x)

问题是:

每月总数据量是否为 150 (30* 1 TB * 5x) TB？这是价格计算器每月 8000 美元。

1 KB 最小计算大小是否适用于确认消息？

Dataflow 在 ParDos 包中处理订阅/确认。但是，每个消息的包是否单独确认？

Answer 1

无需为 Google Cloud Pub/Sub 中的确认付费，只需为发布、拉取和推送付费。对于大小为 0.5KB 的消息，由于最小大小为 1KB，您收取的费用将取决于批处理。如果所有请求至少有 1KB，那么向两个订阅者发布和获取消息的总成本为:
1TB/天 * 30 天 * 3 = 92,160GB/月
10GB * 0 美元 + 92150GB * 0.04 美元 = 3686 美元
如果某些消息未批量处理，则价格可能会因为 1KB 的最小值而上涨。 Google Cloud Pub/Sub client library默认情况下会批量发布消息，因此假设您的消息不是非常零星地发布(意味着它们的频率不足以导致批处理)，您将达到 1KB 的最小值。随着数据量的增加，您可能最终也会在订阅端进行批处理。