java - 微服务中Kafka生产者引起的Big GC暂停

Question

我的一个Web服务为每个在线请求发送日志消息(大小:10K)到kafka(版本:0.10.2.1)，我发现KafkaProducer消耗大量内存，导致GC暂停时间很长。我的服务中只有一个Kafka生产者，这是官方推荐的。

我只是想知道是否有人对如何在不影响在线服务的情况下向kafka发送消息有任何建议？

Answer 1

听起来生产者无法跟上您的服务生成日志的速度。 (这必然是猜测，因为您只提供了有关您的设置的最少详细信息)。

您对您的 kafka 集群进行了基准测试吗？它能够承受您产生的负载吗？

另一个途径是将您的 kafka 生产者与您的实际服务分离。由于您正在处理日志消息，因此您的应用程序可以简单地将日志写入磁盘，并且您可以有一个单独的进程读取这些日志文件并将它们发送到 kafka。这样消息的生成就不会影响你的主要服务。

您甚至可以让 kafka 生产者完全运行在不同的虚拟机/容器上，并通过 NFS 安装等方式读取日志。