elasticsearch - Kibana发现选项卡不反射(reflect)实时日志。

Question

我有一个ELK设置，其中在一个VM上运行Elastic Search，LogStash和Kibana。日志是从另一个服务使用另一个VM的filebeat传送的。

flex 搜索的版本为:0:6.2.4-1

我在Kibana中启用了自动刷新功能，每5秒刷新一次，并且还选择了Last 15 minutes窗口来显示日志。

问题:

当文件发送开始时，它将立即开始发送日志。我可以从文件节拍日志中看到这一点。但是，新日志只有在一段时间后才会在Kibana中反射(reflect)出来。行为不一致，在某些情况下，我最多可以看到30分钟的延迟。这是预期的吗？

如果在禁用Kibana屏幕上的刷新时(即从5秒更改为“关闭”)，请等待15分钟，然后启用刷新(从“关闭”更改为5秒)。应该是什么行为？在这15分钟中，日志存储和ES实际上正在接收日志，只是禁用了Kibana刷新。
a)它会快速显示前15分钟的日志并开始实时显示新日志吗？
b)还是这15分钟的延迟继续存在？我的意思是，从现在开始，我们是否始终会延迟15分钟查看Kibana上的日志？

当文件节拍过程停止时，Kibana仍显示一些日志并保持刷新。我的期望是，一旦文件节拍停止，在kibana上的日志刷新也应以很小的延迟(以秒为单位)停止。但是我看到日志刷新在接下来的1小时左右持续进行。为什么Kibana有这种行为？我错过了什么吗？我还观察到，当Kibana没有要显示的新日志时，我认为它正在显示旧日志。不确定100％，但这会发生吗？

我在Google上搜索并在流量上叠加，但实际上无法获得任何有用的信息。快速说明和解决方案或任何对此提供帮助的指针/链接对我来说都是有用的。

谢谢。

Answer 1

logstash接收日志(在您的情况下，来自文件拍)并将其发送到elasticsearch，也许会对日志进行一些过滤或解析。默认情况下，日志将以logstash接收日志的日期保存在elasticsearch中。该默认日期可以替换为从日志中解析的日期(在timestamp字段中)。

elasticsearch保存日志并可以按需返回它们

kibana根据其参数在elasticsearch中检索日志，在您的情况下，使用最近15分钟内timestamp的日志

要回答您的问题:

我不知道为什么，我需要更多信息。您应该问一个具有更多详细信息的问题(配置，示例日志，Kibana中显示的数据)

从现在到现在的15分钟之间，kibana的Last 15 min要求对timestamp的日志进行 flex 搜索。因此将是c)kibana实时显示日志，而忽略了现在15分钟之前收到的日志。

Kibana中的日志刷新将继续进行，直到您要求停止它为止，logstash停止接收新日志不会停止Kibana自动刷新。从现在到现在的15分钟之间，Kibana会继续向elasticsearch询问带有timestamp的日志。因此，如果自文件拍制停止以来经过15分钟后，kibana仍继续显示日志，则表示将来有时间戳。

就您的信息而言，您不应在一个StackOverflow问题中提出多个问题。