java - Kafka KStream - 显着的启动延迟

Question

我遇到了基于KStreams的应用程序的问题:它将运行一次，当我停止/重新启动时，它会“卡住”并且不会再继续，直到我删除它所具有的各种主题创建的。这种情况不会每次发生，但往往会发生。

通常，当我将新版本复制到工作虚拟机(出于速度原因，与 kafka 集群位于同一子网中)时，通常会发生这种情况。

当它楔入时我会看到；

1. “Connect”: org.apache.zookeeper.ZooKeeper - 启动客户端连接
2. "Client": [StreamThread-1] INFO o.a.k.s.p.internals.StreamTask - 创建恢复消费者客户端
3. “Ping”:我会看到这些，应用程序不会正常关闭。必须杀掉它。

在任何这些情况下，该消息通常都会无限期地重复(嗯 - 至少在午餐+ session 期间一直重复。IE 太长了)。

应用程序会在发生这种情况之前“干净”地关闭。

我做错了什么？

<小时/>

编辑:

最近一次 - 20 分钟后我遇到了一系列错误:

org.apache.kafka.common.errors.TimeoutException: Batch containing 101 record(s) expired due to timeout while requesting metadata from brokers

后跟:

org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member

--> 这是一个好技巧，因为没有其他成员。

Answer 1

如果您运行的是 Kafka 0.10.0.x，那么您可能会遇到一个已知问题:

https://cwiki.apache.org/confluence/display/KAFKA/KIP-62%3A+Allow+consumer+to+send+heartbeats+from+a+background+thread

这个问题已在即将发布的 Kafka 0.10.1.0 版本中得到解决，我建议您尝试新版本，看看这个问题是否消失。