gpt4 book ai didi

apache-kafka - 卡夫卡流 : one record to multiple records

转载 作者:行者123 更新时间:2023-12-03 22:47:52 26 4
gpt4 key购买 nike

鉴于:我在 Kafka 中有两个主题,假设主题 A 和主题 B。Kafka Stream 从主题 A 读取记录,处理它并生成与消费记录相对应的多条记录(假设记录 A 和记录 B)。现在,问题是如何使用 Kafka Streams 实现这一点。

KStream<String, List<Message>> producerStreams[] = recordStream.mapValues(new ValueMapper<Message, List<Message>>() {
@Override
public List<Message> apply(final Message message) {
return consumerRecordHandler.process(message);
}
}).*someFunction*()

这里,读取的记录是Message;处理后它返回一个消息列表。如何将此列表划分为两个生产者流?任何帮助将不胜感激。

最佳答案

我不确定我是否正确理解了这个问题,我也不明白@Abhishek 的答案:(
如果您有一个输入流,并且希望每个输入记录获得零个、一个或多个输出记录,您可以应用 flatMap()flatMapValues() (取决于您是否要修改 key )。
您还在问“我如何将此列表划分为两个生产者流?”如果您想将一个流拆分为多个,您可以使用 branch() .
有关更多详细信息,我引用文档:
https://docs.confluent.io/platform/current/streams/developer-guide/dsl-api.html#stateless-transformations

关于apache-kafka - 卡夫卡流 : one record to multiple records,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44264119/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com