gpt4 book ai didi

apache-kafka - Kafka 镜像制造商将所有没有分区键的消息随机放在目标集群中

转载 作者:行者123 更新时间:2023-12-02 04:33:35 25 4
gpt4 key购买 nike

我们正在使用 Kafka 镜像制作器将 0.8.2.1 集群中的主题镜像到 0.10.2.0 集群。然而,对于某些主题,我们依赖于循环分区分配(没有明确的分区键)。

我知道镜像制造商保留 key 并维护从源到目标的分区,但我看到一些奇怪的事情发生了:

源集群偏移量:

event_edi:0:28731
event_edi:1:28775
event_edi:2:28643

目标集群偏移量:
event_edi:2:169
event_edi:1:88
event_edi:0:85596

大多数这些消息没有任何键。看起来很奇怪,它们都被组合在一起并被倾倒在同一个分区而不是循环中。

对于镜像制造商,我运行了一个 SyncProducer,其余的配置都是默认的。

如果有人可以帮助我了解如何避免这种情况/或者如果我错了,将不胜感激!
蒂亚!

最佳答案

如果您没有使用 key 显式分区日志,它会执行此操作。我们的消息没有任何分区键,因此落在同一个分区中

关于apache-kafka - Kafka 镜像制造商将所有没有分区键的消息随机放在目标集群中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46113043/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com