gpt4 book ai didi

google-cloud-platform - 谷歌云平台 : accumulate data from Pub/Sub to files in Cloud Storage without Dataflow

转载 作者:行者123 更新时间:2023-12-03 23:53:49 29 4
gpt4 key购买 nike

我想弄清楚 GCP 上是否有一项服务,它允许使用来自 Pub/Sub 的流并将累积的数据转储/批处理到 Cloud Storage 中的文件(例如每 X 分钟)。我知道这可以用 Dataflow 来实现,但是如果存在的话,正在寻找更多“开箱即用”的解决方案。

例如,这是可以使用 AWS Kinesis Firehose 做的事情 - 纯粹在配置级别 - 可以告诉 AWS 将流中积累的任何内容定期转储到 S3 上的文件中,或者当积累的数据达到一定大小时。

这样做的原因是 - 当不需要流处理,而只需要积累数据时 - 我想最大限度地减少以下额外成本:

  • 构建一个定制的软件,即使是一个简单的软件,如果可以完全避免的话
  • 消耗额外的计算资源来执行它

  • 为避免混淆 - 我不是在寻找免费的解决方案,而是最佳的解决方案。

    最佳答案

    Google 为 Dataflow 维护了一组模板,以在其服务之间执行常见任务。

    您可以通过简单地插入一些配置值来使用“Pubsub to Cloud Storage”模板 - https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext

    关于google-cloud-platform - 谷歌云平台 : accumulate data from Pub/Sub to files in Cloud Storage without Dataflow,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52899592/

    29 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com