java - 从同一个 JVM 运行 kafka 消费者和生产者时生产者速度慢

Question

我正在使用 kafka 0.8 和 spring-integration-kafka 1.2.0.RELEASE

我有 2 个主题，名为主要主题和次要主题。我需要从主要主题消费，经过一些处理后需要生成次要主题，以便稍后进行下一组处理。

虽然主要主题的消费工作正常，但在几分钟后生产到次要主题开始失败。问题始于我设置的 500 毫秒后发送请求到 kafka 超时。以线程池耗尽结束。

如果我尝试将事件生成到另一个 kafka 集群的次要主题，它可以毫无问题地工作。

我有 4 个消费者运行两个主题，每个主题有 200 个分区。

我对kafka有点陌生，请原谅任何缺乏知识的地方。请评论我应该提供的任何遗漏信息。

Answer 1

根据所提供的信息有点难以了解，但我怀疑这个问题是您可以从第一个主题消费然后计算结果的速度比生成第二个主题的速度更快。发生这种情况的原因可能有很多。例如，对次要主题的写入可能没有很好地跨分区分布。同样，由于各种原因，包括更快的机器、更多的机器、更好的网络等，生产到不同的集群可能会成功。

基本问题并不是 Kafka 特有的:如果您从一个来源消费并将该数据发送到第二个接收器，您通常不能假设第二个接收器总是比第一个来源更快。每当第二个接收器变慢时，即使是一点点，你最终也会遇到这样的问题。例如，假设您可以每秒从主接收器读取 100 个事件，但辅助接收器每秒只能消耗 99 个事件。这意味着每一秒你都会在内存中多一个事件等待发送到你的接收器。如果您不采取任何措施来减慢从主要来源读取的速度，您将耗尽 RAM、线程或其他一些资源。

一般的解决方案是某种节流。例如，您可以使用以 500 个许可开头的 Semaphore:这意味着您永远无法从尚未成功发送到接收器的主要源中读取超过 500 个项目。在从主要来源读取项目之前，您需要减少 Semaphore，这样如果您已经“领先于”次要来源 500 个项目，您的读者将阻止。每次您成功将一个项目发送到您的次要主题时，您就会释放一个许可，允许继续进行另一次读取。

我会警告不要使用第二个 Kafka 集群或其他有效但不能真正解决核心问题的方法。例如，如果现在可以向不同的集群进行生产，那么当该集群由于节点丢失、大的重新平衡等而变慢时，它就不会了。这只会暂时隐藏问题。