performance - 端到端测试大数据管道的工具？

Question

我有这个管道:Webserver+rsyslog->Kafka->Logstash->ElasticSearch->Kibana

我找到了这些工具来帮助测试我的管道:

通过使用 jmeter-ec2 启动 jmeter EC2 实例来生成 Web 服务器负载

使用 Sangrenel 在 Kafka 上生成负载并帮助绘制吞吐量图表

我想知道是否有人对测试组件或端到端测试有任何其他建议？谢谢。

Answer 1

好问题!我正在寻找类似的东西，但可能会选择一个简单的家庭解决方案。

使用 bolt 将数据写入 Kafka 设置 Storm 集群。需要注意的一件事是 id/key，因此您的消息分布在多个分区中。 Storm 的原因是有一组分布式发布者。作为 Storm 的替代方案，您可以拥有多个生产者，比如说 KafkaAppender

一旦你知道你的 Kafka 性能，将 Logstash 连接到加载的主题并让它尽可能快地耗尽。您可以通过 KafkaManager 或连接到 JMX(许多工具)找到一些有用的信息

监控 Elastic 的最简单方法是 Marvel

Kibana 的性能取决于您的查询返回的数据量，但最小间隔仍然是 5 秒。

根据我的经验，logstash 性能将取决于数据大小和 grok 复杂性。 Elastic 的性能主要是集群大小、分片/模板配置。您的设置中最快的组件将始终是 Kafka(受 ack 和 Zookeeper 设置的限制)

此外，如果您控制数据生成，您可以比较生成记录的时间与 logstash 的 @timestamp 并测量滞后。