streaming - 是否有任何模拟器/工具来生成流消息？

Question

出于测试目的，我需要模拟客户端每秒生成 100,000 条消息并将它们发送到 kafka 主题。有什么工具或方法可以帮助我生成这些随机消息？

Answer 1

有一个用于生成虚拟负载的内置工具，位于 bin/kafka-producer-perf-test.sh ( https://github.com/apache/kafka/blob/trunk/bin/kafka-producer-perf-test.sh )。您可以引用https://github.com/apache/kafka/blob/trunk/tools/src/main/java/org/apache/kafka/tools/ProducerPerformance.java#L106弄清楚如何使用它。

一个使用示例如下:

bin/kafka-producer-perf-test.sh --broker-list localhost:9092 --messages 10000000 --topic test --threads 10 --message-size 100 --batch-size 10000 --throughput 100000

这里的关键是 --throughput 100000表示“限制最大消息量约为每秒 100000 条消息”的标志