apache-flink - 动态限制 flink kafka 源

Question

我们正在使用多个 kafka 主题，但希望优先处理其中一些主题(~ 服务质量)。

根据我在网上找到的内容，共识是不限制运算符，而是限制源代码，更具体地说是反序列化器 [1]。

我们如何访问有关源中流环境状态的信息(即主题落后于当前偏移量的程度)。

目前，我们计划将我们的整个设置转换为 CoFlatMaps [2] 并有一个控制流，它发出所有主题的当前偏移延迟 - 低优先级流运算符然后根据高优先级流的延迟休眠。

你会如何解决这个问题？Tl;dr:有没有办法在任务管理器的源/反序列化器之间共享信息？

[1] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Rate-limit-processing-td11174.html

[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/newbie-Share-state-between-streams-td7368.html

Answer 1

对于需要回答这个问题的人:我在 flink 的背压中遇到了类似的话题。我发现人们在源运算符(operator)和序列化部分中进行速率限制。

有一个来自 flink github repo 的例子:https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/utils/ThrottledIterator.java