java - 性能问题: Latency Spike happens sometimes in Kafka Streams

Question

我正在 Kafka Streaming 中进行性能测试。我使用 Transformer 创建了一个简单的 Streams API。

  // Stream data from input topic
  builder.stream(Serdes.String(), Serdes.String(), inTopic)
         // convert csv data to avro
         .transformValues(new TransformSupplier())
         // post converted data to output topic
         .to(Serdes.String(), Serdes.ByteArray(), outTopic);

我正在使用具有 10 个分区的 inTopic 和具有 1 个分区的 outTopic。我发现延迟很好，大约 4-6 毫秒。但是，我有时会面临延迟突然增加的情况，甚至达到约 60 - 1000 毫秒。然后几秒钟后，延迟逐渐降至约 4-6 毫秒。这导致我整个实验的平均延迟约为 67 毫秒。

突然飙升的原因可能是什么？建议我一些性能调整参数(如果有)。

注意:我只提供了默认的 StreamsConfig。

Answer 1

产生一定量的消息后，数据应该刷新到磁盘。

这可能会导致您观察到的现象。

请引用kafka配置的“log.flush.interval.messages”:Link

在产品中后，我不建议您更改此属性来改进。您应该更改系统配置:

/proc/sys/vm/dirty_background_ratio
/proc/sys/vm/dirty_ratio

提高自己的消息刷新效率