java - 卡夫卡流: how to handle dynamic conditions in a filter?

Question

有什么方法可以处理 kafka 流中的动态条件吗？我需要通过用户更改的值列表来过滤流数据，但此值列表不在流中，它们可通过 http 调用获得。

stream(myTopic)
    .filter(isDataOK())
    ...

private Predicate<> isDataOK() {
     http_call;
     return predicate_value_based_on_http_answer;
}

是否可以在 kafka 流处理期间处理 http 调用，或者我是否需要其他流中的条件数据？

提前致谢，问候

Answer 1

我对动态流配置有类似的要求。为每个消息处理调用 http 并不是一个好主意，因为它非常耗时。最好在处理组件中缓存值并定期更新它们，例如每小时一次。您还应该考虑 http 调用不可用时的场景。

在另一个项目中，我从另一个 Kafka 主题异步接收动态配置，这对于流处理来说效果更好、更自然。