elasticsearch - Logstash - ElasticSearch - Kibana::延迟 10 秒或更长时间

Question

我部署了一个默认的“elasticsearch”(ubuntu 14.04，ES v1.2)堆栈，从 redis 到 Kibana。

我在发送时发送一个带有当前日期的@now 值，Elasticsearch 分配他自己的@timestamp。

好吧，如果你计算 (@timestamp - @now) 会有超过 10 秒(有时甚至一分钟)的滞后/延迟。

这是正常行为吗？我没有对我的实例进行太多调整，但我发送的事件很少，看起来不像是性能/内存/IO 问题。

欢迎任何提示。

Answer 1

一路上你至少有 5 个软件(你没有提到你使用的是哪个托运人)。

首先，当您查看结果时，请确保一切都是“温暖的”。 logstash 和 elasticsearch 是基于 JVM 的，因此需要担心所有这些开销。我通常会在开始测量之前给他们 2 分钟时间。

其次，寻找缓冲区大小，这可能会在像您这样的低容量环境中造成更大的影响。您的托运人是否发送每条消息或批处理(当用作 redis 的托运人时，logstash 默认为每批 50 个文档)？从 redis 读取时怎么样(默认为 1，但可以更改)？从 logstash 发送到 elasticsearch 怎么样(默认为 1,000，尽管它也是每秒刷新一次)？

整个链条上的硬件怎么样？ CPU 利用率？内存分配？ SSD 与旋转磁盘？网络延迟？垃圾收集？

您对托运人或索引器进行了多少过滤？很多错误的正则表达式？

甚至是基础知识 - 时钟设置是否相同？

[ 我已经可以看到 SO 警察建议这应该是评论而不是答案。但是，您会注意到 OP 需要研究的特定事项，以及有很多旋钮需要转动的教训。 ]