elasticsearch - 使用 quarkus logging-gelf 扩展和 ELK 堆栈时的索引错误

Question

我已经设置了日志记录，如 https://quarkus.io/guides/centralized-log-management 中所述使用 7.7 版的 ELK 堆栈。

我的 logstash 管道看起来像建议的示例:

input {
    gelf {
        port => 12201
    }
}
output {
    stdout {}
    elasticsearch {
        hosts => ["http://elasticsearch:9200"]
    }
}

大多数消息都使用 logstash.* 作为索引模式显示在我的 Kibana 中。但是一些消息被丢弃了。
2020-05-28 15:30:36,565 INFO [io.quarkus] (Quarkus Main Thread) Quarkus 1.4.2.Final started in 38.335s. Listening on: http://0.0.0.0:8085
问题似乎是，字段 MessageParam0、MessageParam1、MessageParam2 等被映射到首次出现在日志中但实际上包含多种数据类型的类型。 Elasticsearch 日志显示类似 ["org.elasticsearch.index.mapper.MapperParsingException: failed to parse field [MessageParam1] 的错误。

Quarkus logging-gelf 扩展中是否有任何方法可以正确映射这些值？

Answer 1

ELK 可以通过查看第一个索引文档来自动创建您的 Elasticsearch 索引映射。这是一个非常方便的功能，但它有一些缺点。

例如，如果您有一个可以包含数字或字符串的字段，如果第一个文档包含此字段的数字，则映射将使用数字字段创建，因此您将无法索引包含字符串的文档 field ...

唯一的解决方法是预先创建映射(您只能定义导致问题的字段，其他字段将自动创建)。

这是一个 ELK 问题，在 Quarkus 方面我们无能为力。