purge - apache fink 0.10 使用时间窗口清除在无限流上过滤重复项

Question

如何使用时间窗口清除功能过滤掉无限流中的重复项？我没有无限空间/内存，我知道在 2 秒后(在本地时钟上)，任何可能发生的重复都会发生。这意味着 2 秒后我可以丢弃(清除)旧数据。

使用时间窗口清除在无限流中过滤重复项。

关于如何在这个问题中删除重复项，我得到了一个很好的答案(非常感谢 Till):apache flink 0.10 how to get the first occurence of a composite key from an unbounded input dataStream?

但我不知道如何告诉 flink 在 2 秒(本地时间)后丢弃旧数据。

请问我如何使用 flink 0.10 执行此操作？

非常感谢!!!

这是删除重复项但不清除的语句:

input.keyBy(0, 1).flatMap(new DuplicateFilter()).print();

如果我在 keyBy(0, 1) 之后添加 .timeWindow(Time.minutes(1), Time.seconds(30)) 它不可编译。

Answer 1

感谢 Till - 答案在以下链接的更新中给出: apache flink 0.10 how to get the first occurence of a composite key from an unbounded input dataStream?

查看更新。