gpt4 book ai didi

java - Flink 滑动窗口没有按预期工作

转载 作者:行者123 更新时间:2023-11-29 04:32:12 29 4
gpt4 key购买 nike

我有一个数据流1,2,3,4,5,6.....

我正在应用滑动计数窗口,如下所示

inputStream.keyBy("id").countWindow(2,1);

预期输出

1,2

2,3

3,4 ..

实际输出

1

1,2

2,3

3,4

为什么先滑动再累加窗口大小

最佳答案

首先,您提供的预期输出是错误的。您将窗口大小指定为 2 分钟。所以输出(假设它是一个窗口的开始和结束)应该是:

1:00:00, 1:01:00
1:01:00, 1:02:00

具有时间戳 1:00:00 的第一个事件应分配给窗口 (0:59:00, 1:01:00)( 1:00:00、1:02:00)。我相信这可以回答您的问题。

编辑后:

对于 countWindow 应用相同的规则。第一个元素属于两个窗口。使用 countWindow(4,2) 更容易推理。看一个基本示例:

val sEnv = StreamExecutionEnvironment.getExecutionEnvironment
sEnv.setParallelism(1)

sEnv.fromCollection((1 to 10)).countWindowAll(4, 2).apply(
(window, numbers, collector: Collector[Seq[Int]]) =>
collector.collect(numbers.toSeq)
).print()

sEnv.execute()

输出是:

List(1, 2)
List(1, 2, 3, 4)
List(3, 4, 5, 6)
List(5, 6, 7, 8)
List(7, 8, 9, 10)

看到第一个元素所属的第一个窗口从过去开始。

关于java - Flink 滑动窗口没有按预期工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43385652/

29 4 0
文章推荐: java - 组件未绘制在 Jpanel 之上
文章推荐: java - 只从 json 序列化你需要的数据
文章推荐: java - 获取插件的首选项存储
文章推荐: java - 如何将两个 char[] 添加到 List