kafka-consumer-api - 卡夫卡同步 :"java.io.IOException: Too many open files"

Question

我们遇到了卡夫卡的问题。有时突然，我们在没有警告的情况下退出同步并在发出事件时开始出现异常。

我们得到的异常(exception)是

java.io.IOException: Too many open files

在许多情况下，这似乎是 Kafka 抛出的通用异常。我们对其进行了一些调查，我们认为根本原因是在尝试向某个主题发出事件时，它失败了，因为 kafka 没有该主题的领导分区

有人可以帮忙吗？

Answer 1

我假设您使用的是 Linux。如果是这种情况，那么发生的情况是您的打开文件描述符用完了。真正的问题是为什么会发生这种情况。

默认情况下，Linux 通常会将这个数字保持在相当低的水平。您可以通过 ulimit 检查实际值:

ulimit -a | grep "open files"

然后，您可以再次通过 ulimit 设置该值:

sudo ulimit -n 4096

也就是说，除非有问题的 Kafka 主机有很多主题/分区，否则达到该限制是不寻常的。可能发生的事情是其他一些进程保持文件或连接打开。为了找出哪个进程，您将不得不使用 lsof 进行一些侦查工作。