gpt4 book ai didi

google-cloud-dataflow - 在 Apache Beam 中添加 2 Dofn 之间的依赖关系

转载 作者:行者123 更新时间:2023-12-04 10:35:00 24 4
gpt4 key购买 nike

有什么方法可以在 2 个 Dofn 之间创建依赖关系,以便它等待第一个 Dofn 方法完成,然后运行第二个 Dofn 方法。
只是想知道我们如何实现这个用例。

最佳答案

可能有一种更简洁的方法可以做到这一点,但我注意到执行以下操作将达到您想要的效果:

将第一个 DoFn 的输出也路由到一个计数器,然后将该计数器的输出作为侧输入传递到第二个 DoFn 的 ParDo

class DoFn2(apache_beam.DoFn):
def process(self, element, count_do_fn_1_output, *args, **kwargs):
# ...

do_fn_1_output = do_fn_1_input | 'do fn 1' >> apache_beam.ParDo(DoFn1())

count_do_fn_1_output = (
do_fn_1_output
| 'count do_fn_1_output' >> apache_beam.combiners.Count.Globally())

do_fn_2_output = (
do_fn_1_output
| 'do fn 2' >> apache_beam.ParDo(DoFn2(), count_do_fn_1_output=apache_beam.pvalue.AsSingleton(count_do_fn_1_output)))

关于google-cloud-dataflow - 在 Apache Beam 中添加 2 Dofn 之间的依赖关系,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60227653/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com