gpt4 book ai didi

apache-spark - 长时间运行时打开的文件太多 Kafka 异常

转载 作者:行者123 更新时间:2023-12-02 02:55:22 32 4
gpt4 key购买 nike

我有一个 Java 中的 Kafka 生产者代码,它使用 java nio WatchService api 监视目录中的新文件,并获取任何新文件并推送到 kafka 主题。 Spark 流消费者从 kafka 主题中读取。 Kafka 生产者作业持续运行一天后出现以下错误。生产者每 2 分钟推送大约 500 个文件。我的 Kafka 主题有 1 个分区和 2 个复制因子。有人可以帮忙吗?

org.apache.kafka.common.KafkaException: Failed to construct kafka producer         
at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:342)
at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:166)
at com.hp.hawkeye.HawkeyeKafkaProducer.Sender.createProducer(Sender.java:60)
at com.hp.hawkeye.HawkeyeKafkaProducer.Sender.<init>(Sender.java:38)
at com.hp.hawkeye.HawkeyeKafkaProducer.HawkeyeKafkaProducer.<init>(HawkeyeKafkaProducer.java:54)
at com.hp.hawkeye.HawkeyeKafkaProducer.myKafkaTestJob.main(myKafkaTestJob.java:81)

Caused by: org.apache.kafka.common.KafkaException: java.io.IOException: Too many open files
at org.apache.kafka.common.network.Selector.<init>(Selector.java:125)
at org.apache.kafka.common.network.Selector.<init>(Selector.java:147)
at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:306)

... 7 more
Caused by: java.io.IOException: Too many open files
at sun.nio.ch.EPollArrayWrapper.epollCreate(Native Method)
at sun.nio.ch.EPollArrayWrapper.<init>(EPollArrayWrapper.java:130)
at sun.nio.ch.EPollSelectorImpl.<init>(EPollSelectorImpl.java:69)
at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelectorProvider.java:36)
at java.nio.channels.Selector.open(Selector.java:227)
at org.apache.kafka.common.network.Selector.<init>(Selector.java:123)
... 9 more

最佳答案

检查 ulimit -aH

与您的管理员联系并增加打开文件的大小,例如:

open files                      (-n) 655536

否则我怀疑您的代码中可能存在泄漏,请参阅:

http://mail-archives.apache.org/mod_mbox/spark-user/201504.mbox/%3CCAKWX9VVJZObU9omOVCfPaJ_bPAJWiHcxeE7RyeqxUHPWvfj7WA@mail.gmail.com%3E

关于apache-spark - 长时间运行时打开的文件太多 Kafka 异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49697834/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com