redis - 分布式logstash + redis + elasticsearch设置

Question

在我们的网络中，有些本地节点并不总是连接到中心节点，我们无法改变这种情况。

我们的要求如下；

1. 在本地节点；本地日志将被存储并可以被搜索
2. 在中心节点；所有收集的日志将被存储并可以搜索

我们当前的 logstash 设置如下；

Logstash 在本地节点收集日志并使用 redis 发送也存储在本地 elasticsearch 实例中。来自redis的中心节点输入再次存储在中央elasticsearch中。

由于本地节点并不总是连接的；日志不传输到中心，中心节点不提供日志。

所以我们需要额外的设置来传输节点离线时记录的日志。 Logstash 和 Elasticsearch 文档都不包含这种同步。你有什么建议吗？

Answer 1

您可以在本地节点上为中心节点使用不同的端口运行 redis。这意味着你将启动两个 redis。一个供本地使用，一个供中心节点使用!

本地节点也将日志发送到这个redis。 Redis 会缓冲它收到的所有日志。(PS:Logstash在同一个配置下可以输出到多个redis)

当网络连接时，中心节点可以从本地节点redis读取日志事件。所以这可以解决所有同步问题。