apache-kafka - 当 kafka 流中发生重新分区时，究竟会发生什么？

Question

假设我有一个员工流，由 empId 键控，其中还包括 departmentId .
我想按部门汇总。所以我做了一个 selectKey(获取部门 ID 的映射器 ) ，然后 groupByKey() (或者我可以做一个 groupBy(...) ，我假设)，然后，说，计数()。究竟会发生什么？我认为它进行了“重新分区”。我认为发生的事情是它写入了一个“内部”主题，我只是一个带有派生名称的常规主题，它是自动创建的。也就是说，由流的所有实例共享，而不仅仅是一个(即非本地)。所以聚合是跨所有新键的，而不仅仅是来自源流实例的那些消息(我认为)。那是对的吗？

我还没有找到重新分区的全面描述。任何人都可以给我指出一篇关于这方面的好文章吗？

Answer 1

你所描述的正是正在发生的事情。

重新分区步骤与 through() 相同(自动插入到处理拓扑中)什么是 to("topic") 的快捷方式加builder.stream("topic") .

这篇博文中也对它进行了说明和解释:https://www.confluent.io/blog/data-reprocessing-with-kafka-streams-resetting-a-streams-application/