linux - 如何增加kafka集群上的打开文件

Question

我们有 10 台 kafka 版本为 1.X 的 kafka 机器

这个 kafka 集群版本是 HDP 版本的一部分 - 2.6.5

我们注意到在/var/log/kafka/server.log下有如下信息

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

我们还额外看到了

 Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}

和

WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. this implies messages have arrived out of order. New: {epoch:0, offset:2227488}, Currnet: {epoch 2, offset:261} for Partition: cars-list-75 {kafka.server.epochLeaderEpocHFileCache}

关于这个问题-

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

how to increase the MAX open files , in order to avoid this issue

更新:

在 ambari 中，我们从 kafka --> config

中看到了以下参数

这是我们应该增加的参数吗？

Answer 1

可以这样做:

echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf

然后你应该重新启动。