java - 卡夫卡 : Consumer Crashing

Question

我继承了一些正在实现到另一个项目中的 Kafka 代码，并遇到了一个问题...消费者收到来自生产者的 3995 条消息后，它崩溃并给出以下错误:

ERROR Error while accepting connection (kafka.network.Acceptor) 
java.io.IOException: Too many open files

Information about data being sent:
Very bursty around the time of crash
Always crashes at 3995

我在 Centos 虚拟机上运行它，我已经通过它轻松运行了其他较小的数据集。感谢您的宝贵时间!

Answer 1

“打开的文件太多”，您可以输入“lsof |”吗？在你的 Linux 中输入 wc -l' 来了解打开了多少个文件。

关注guide增加打开的文件数量:

已达到最大文件数，如何解决此问题？许多应用程序(例如 Oracle 数据库或 Apache Web 服务器)需要这个范围相当高的值。因此，您可以通过在内核变量/proc/sys/fs/file-max 中设置新值来增加最大打开文件数，如下所示(以 root 身份登录):

sysctl -w fs.file-max=100000