elasticsearch - 是否有可以从 Kafka 主题中读取的 Elastic Search Beat

Question

我有一个 ELK 设置，其输​​出直接进入 Elastic Search 而不是 Logstash。我们使用的是 ELK 7.3.2 版，带有基本许可证并在 Linux RedHat 下运行。

我们有 3 个 Kafka 节点和 2 个 Cassandra 节点的拓扑。
我能够使用默认设置配置 metricbeat。此 metricbeat 获取通过此 VM 主机的 Kafka 组和主题名称，但不足以查看消费者是否出现故障。

配置一个能 ping 3 个 Kafka 节点的 Heartbeat 很容易。

这对我的团队来说还不够。

为什么 metricbeat 会选择 Kafka 主题？

是否有可以安装和配置以直接从 Kafka 主题读取的 Beat？

有没有办法设置 metricbeat 从 Kafka 读取并输出到 Elastic Search ？

Answer 1

Metricbeat 不仅收集系统级别的指标，还收集该系统上运行的服务的指标。
这是 list Metricbeat 中包含的指标收集模块。
该列表涵盖了许多服务和平台，包括 Kafka。

至于如何从 Kafka 主题读取到 Elasticsearch 的问题，显而易见的方法是使用 logstash 或 Kafka Connect。有一个受支持的融合 connector用于 Elasticsearch 。

不支持直接从 Kafka 主题读取的 Beat。但经过一番研究，我发现了一个由 JustSocialLabs 开发的。 .我没试过。我使用 Logstash 和 Kafka connect 的经验就足够了。但如果你愿意，你可以试一试。