gpt4 book ai didi

java - 云数据流: change bigquery destination on the fly

转载 作者:行者123 更新时间:2023-12-02 01:26:35 24 4
gpt4 key购买 nike

我正在使用 DataFlow 管道将数据从物联网设备(通过 PubSub 订阅)流式传输到 BigQuery。我正在寻找一种方法,将数据从给定设备动态定向到我可以即时指定的 BigQuery 数据集。这是一种典型情况:用户决定“我想开始将数据从物联网设备 A 流式传输到 BigQuery 数据集 5”,然后又决定“现在我想开始将数据从物联网设备 A 流式传输到 BigQuery 数据集 7”。

我正在寻找一种无需更新设备配置或重新启动数据流作业即可完成此操作的方法。这可能吗?如果没有,最好的方法是什么?

最佳答案

使用DynamicDestinations应该可以实现。这使您能够决定每个元素应存储在哪里。如果您无法根据要存储的元素直接推导 BigQuery 数据集,则可以将其与设备配置结合起来,或者在 DynamicDestinations 实现中创建一些查找机制。

请查看文档,其中还提供了示例。 https://beam.apache.org/releases/javadoc/2.13.0/org/apache/beam/sdk/io/gcp/bigquery/DynamicDestinations.html

关于java - 云数据流: change bigquery destination on the fly,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56820646/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com