Redis 长度增长

Question

我们的管道:VMware-Netflow -> Logstash -> Redis -> Logstash-indexer -> 3xElastic

我收集的数据:

• 我注意到在 kibana 中流入的流是 1 小时前的，然后2，然后是 3，依此类推。
• 运行“redis-cli llen netflow”显示一个正在缓慢增加的非常大的数字。
• 运行 'redis-cli INFO 显示 80kbps 的稳定输入和 1kbps 的输出。我认为这些应该接近相等。
• 所有节点上的 CPU 负载都可以忽略不计。

我尝试过的:

• 我确保 logstash-indexer 发送到所有 3 个弹性节点。
• 我在索引器上启动了许多额外的 logstash 实例，redis 现在显示 40 个客户端。

我不确定还能尝试什么。

Answer 1

TLDR:重新启动了所有三个 elasticsearch 节点，生活再次美好起来。

我无意中禁用了 elasticsearch 作为输出，并将我的网络流发送到以太。 Redis 中的队列大小在几分钟内下降到 0。虽然很难过，但这确实证明了它是 elasticsearch 而不是 logstash 或 redis。

我看了看elastic实例，好像是他们之间的通信出了问题。所有这三个都显示日志，表明 2/3 正在退出集群，并且永远不会响应集群 ping。我认为正在发生的事情是，写入被 elastic 接受，并且在成功写入之前反弹了一段时间。

在重新启动它们后，它们协商正确，并且写入正在按预期进行。