apache-kafka - Kafka Streams - 使用 through() 与 toStream() + to() 重用流

Question

我想知道在 .toStream() + .to() 的流引用上使用 .through() 重用流的区别

使用 .through()
KStream<String, String> subStream = mainStream
.groupByKey(..)
.aggregate(..)
.toStream(..);
.through("aggregate-topic", ..);
// Then use the (new) stream from .through() to create another topic
与使用 .toStream() + .to()
KStream<String, String> subStream = mainStream
.groupByKey(..)
.aggregate(..)
.toStream(..);
subStream.to("aggregate-topic", ..);
//reuse the existing subStream from toStream() to create another topic
我已经实现了一个使用后者的功能，因为在我学习 through() 方法之前，这是有意义的。

我现在好奇的是这两种选择的内部情况；选择一个选项而不是另一个选项有什么好处/坏处吗？

Answer 1

是的，存在差异和不同的权衡:

1) 使用 through() 的第一个版本将创建一个“线性计划”，并将拓扑拆分为两个子拓扑。请注意， through("topic") 与 to("topic") 加 builder.stream("topic") 完全相同。

mainStream -> grp -> agg -> toStream -> to -> TOPIC -> builder.stream -> subStream

第一个子拓扑将从 mainStream 到 to() ； "aggregate-topic" 将它与由 builder.stream() 组成的第二个子拓扑分开，并输入 subStream 。这意味着，因为所有数据首先写入 "aggregate-topic"，然后再读回。这将增加端到端处理延迟并增加额外读取操作的代理负载。优点是，两个子拓扑都可以独立并行化。它们的并行性是独立的，并由它们对应的输入主题分区的数量决定。这将创建更多的任务，从而允许更多的并行性，因为两个子拓扑都可以在不同的线程上执行。

2)第二个版本将创建一个“分支计划”，并将作为一个子拓扑执行:

mainStream -> grp -> agg -> toStream -+-> to -> TOPIC
                                      |
                                      + -> subStream

在 toStream() 之后，数据被逻辑广播到两个下游操作符。这意味着，没有通过 "aggregate-topic" 的往返，但记录在内存中转发到 subStream 。这减少了端到端延迟，并且不需要从 Kafka 集群读回数据。但是，您可以 reduce task 并因此降低最大并行度。