gpt4 book ai didi

java - Apache Beam 中的聚合器和数据流运行器

转载 作者:行者123 更新时间:2023-12-02 11:13:26 26 4
gpt4 key购买 nike

我正在尝试创建聚合器来计算所有输入数据中满足条件的值。我查看了文档并找到了以下用于创建的内容。

https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/transforms/Aggregator ..

我正在使用:google-cloud-dataflow-java-sdk-all - 2.4.0(基于apache beam)

但是我无法在新的beam api中找到相应的类..我查看了 org.apache.beam.sdk.transforms 包。

您能否告诉我如何在新 api 中将聚合器与数据流运行程序一起使用。 ?

最佳答案

您拥有的链接适用于旧版 SDK (1.x)。

在 SDK 2.x 中,您应该引用apache-beam SDK。对于Aggregators你提到,如果我理解正确的话,它是为了在处理过程中添加计数器。我猜对应package应该是org.apache.beam.sdk.metrics .

Package org.apache.beam.sdk.metrics Metrics allow exporting information about the execution of a pipeline.

org.apache.beam.sdk.metrics.Counter接口(interface):

A metric that reports a single long value and can be incremented or decremented.

关于java - Apache Beam 中的聚合器和数据流运行器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50448262/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com