apache-kafka - Kafka 中的性能测试

Question

谁能解释一下在 Kafka 中如何使用性能测试，

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1

和

bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196

我不清楚参数是什么以及应该获得的输出是什么。如果我向 Kafka 主题发送 1000 条消息，我将如何检查它的性能和确认。

Answer 1

当我们运行它时，我们得到以下信息，

制作人

  | start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |

在哪里，

• total.data.sent.in.MB 显示以 MB 为单位发送到集群的总数据。

• MB.sec 表示每秒传输的数据量(以 MB 为单位)(吞吐量大小)。

• total.data.sent.in.nMsg 将显示在此测试期间发送的消息总数。

• 最后的 nMsg.sec 显示一秒内发送了多少消息(消息计数的吞吐量

消费者

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667

在哪里，

• start.time、end.time 将显示测试开始和完成的时间。

• fetch.size** 显示单个请求中要提取的数据量。

• data.consumed.in.MB**** 显示消耗的所有消息的大小。

• ***MB.sec* 表示每秒传输的数据量(以 MB 为单位)(吞吐量大小)。

• data.consumed.in.nMsg 将显示在此测试期间消耗的消息总数。

• 最后的 nMsg.sec 显示每秒消耗了多少消息(消息计数的吞吐量)。