gpt4 book ai didi

google-bigquery - Bigquery 如何从数据流中删除记录

转载 作者:行者123 更新时间:2023-12-05 02:56:09 31 4
gpt4 key购买 nike

我需要从数据流更新和删除 BigQuery 中的记录。数据来自 Pubsub,并带有标识操作插入、更新、删除 (I、U、D) 的标志。插入不是问题。

有更新和删除的建议吗?

最佳答案

Dataflow 中的 IO 更喜欢进行盲写(理想情况下写入单独的表),因此输入会被保留。这提供了更稳定、高性能的体验,并防止改变管道输入。

插入,当然可以简单地使用 BigQueryIO.Write 执行

对于更新,如果您只想覆盖表中的前一行。然后您可以使用 BigQueryIO.Write 编写一个 TableRow。

如果想要读取、修改、写入一行(即,将一行中的值增加 X)。然后这也将涉及读取数据。这更复杂。这里有一些方法(为此,您也可以将删除视为一种更新。即可以添加一行以指示应丢弃该“键”的所有条目)。

方法 1 将每个更新写入其自己的行

在这里查看答案,您只需将每个更新(不读取)写入一行并在执行 SQL 查询时计算聚合值。根据您想要的更新,这可能会很好地处理您的 SQL BQ 查询。

Google Dataflow: insert + update in BigQuery in a streaming pipeline

方法 2 使用数据流流状态

通过这种方法,您可以创建一个 StatefulParDo这实质上允许您为特定 ParDo 的每个数据流 key 在数据流中存储一些持久状态。因此,您可以在此处保留一个值,根据您的 pubsub 事件不断更新它,并发出一个元素,该元素用新的 TableRow 覆盖输出 BigQueryTable 中的一行。

如果您有一个现有的 BQ 表,可能需要使用 BigQueryIO.Read 和 PubsubIO.Read 来初始化 StaefulParDo。

有一些 pricing associated with this dataflow streaming state了解这种方法。

当您更新数据流管道时,此数据也会被保留。

方法 3 编写流水账表并计算您想要的最终表

在这种方法中,您可以为每个事件(无论是插入、更新还是删除)在表中写入一个条目。

然后在该 BigQuery 表中读取另一个管道,聚合具有相同“键”的所有行。尽管您需要使用窗口来聚合数据。因此,您可以使用该窗口计算同一小时、同一天等键的所有事件的最新条目。

方法 4 直接使用 BigQuery API(不推荐)

编写自定义 ParDo,使用 BigQuery API 直接从 ParDo 手动读取、修改和写入每个 BigQuery 更新(而不是使用 BigqueryIO)。

不推荐,因为由于 RPC 往返时间,使 RPC 读取修改和写入每一行会非常慢。这也会产生不需要的副作用,即如果您最终在数据流的重试中重新处理数据,则更新可能会应用多次。但如果您可以接受不准确且数据量较少,这可能会奏效。

替代方法包括:使用具有流状态的 ParDo(这将允许您更新 Dataflow 管道中键的值)

关于google-bigquery - Bigquery 如何从数据流中删除记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60764796/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com