logging - 如何聚合来自多个 Elasticsearch 索引的 Kibana 信息？

Question

我们正在设置来自几个相关应用程序的日志，以便将日志事件导入 Elasticsearch(通过 Logstash)。创建 Kibana 仪表板来可视化每个应用程序的日志索引很简单，但是由于应用程序是相关的并且它的事件属于同一个管道，因此构建一个显示从不同应用程序收集的聚合信息的仪表板会很棒。这样的仪表板对于跟踪故障和性能问题特别有用。

现在我可以看到实现聚合仪表板的三种主要方法:

1. 保留单独的应用程序日志并配置 Kibana 仪表板以使用来自不同应用程序的信息。恐怕这是一项具有挑战性的任务，我什至不确定 Kibana 是否完全支持它。
2. 修改应用程序日志记录，使它们都记录到同一个索引。我不喜欢的是日志事件结构必须跨应用程序统一，它们是由不同的人用不同的语言构建的。我已经对集中控制诸如日志记录这样的底层细节失去了信心。
3. 保持应用程序日志和相应的 Elastichsearch 索引不变，但设置一个包含聚合信息的新索引。 This article描述了如何配置 Elasticsearch 以将其日志转储到 Logstash，然后 Logstash 将它们插入回 Elasticsearch 以进行搜索。乍一看，这种方法可能令人惊讶:为什么需要将日志数据再次重新插入到同一个数据库中？这是另一个索引，它会增加开销、使用更多空间等。但它提供了以适合聚合 Kibana 仪表板的方式设置索引的机会。

不知道有没有人经历过类似的困境，可以分享一下他们的经验。

Answer 1

如果您不打算使用带时间戳的索引，我相信您可以将默认索引设置为 _all。

使用菜单，转到配置，单击索引选项卡，然后将时间戳设置为“无”并将默认索引设置为 _all。 JSON 模式最终将包含如下内容:

  "index": {
    "interval": "none",
    "pattern": "[logstash-]YYYY.MM.DD",
    "default": "_all",
    "warm_fields": false
  },

如果您需要带时间戳的索引，则需要选择适当的时间间隔并输入以逗号分隔的索引列表，每个索引都以正确的格式指定。