gpt4 book ai didi

java - JavaPairDStream 中的最后一批大小

转载 作者:行者123 更新时间:2023-11-30 02:29:58 26 4
gpt4 key购买 nike

我有一个简单的 Spark Streaming 应用程序。我使用 JavaPairDStreams。我想知道是否可以获得最后的批量大小。我需要它来完成对 JavaPairDStream 的每个 Tuple2 执行的操作。JavaPairDStream.count() 方法不起作用,因为它只返回一个 long 的 JavaDStream,而我只需要最后一个批量大小。

提前谢谢您。

最佳答案

您需要访问底层 rdd 并对其进行计数。

dstream.foreachRDD( rdd -> 
long batchSize = rdd.count();
...
)

关于java - JavaPairDStream 中的最后一批大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44546187/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com