json - Logstash 输出 elasticsearch - 动态生成索引名称

Question

我正在使用elastic 和logstash 版本6.2.4。

Logstash 输入配置为从 Azure EventHub 读取数据

input
{
    azureeventhub
    {
        key => ""
        username => "ReadAccess"
        namespace => "myeventhubs"
        eventhub => "logstash"
        partitions => 2
        consumer_group => "logstash-cg"
    }
}

我的事件是一条 JSON 消息，如下所示

{
    "log": {
      "event": "....."
    },
    "header": {
      "remoteName": "foobar"
    }
}

我需要在elasticsearch中为每个remoteName创建一个索引，所以我尝试将输出配置为elastic，如下所示:

output {
  elasticsearch {
    hosts => ["localhost:9200"]
     index => "log-%{header.remoteName}-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

我希望找到一个名为:log-foobar-2018-04-22。但没有成功。

在 Elasticsearch 中我发现了一个名为:log-%{header.remoteName}-2018-04-22

是否可以动态创建索引？我需要如何配置logstash输入？

Answer 1

尝试以下操作:

index => "log-%{[header][remoteName]}-%{+YYYY.MM.dd}"

字段引用

能够通过名称引用字段通常很有用。为此，您可以使用 Logstash 字段引用语法。

访问字段的语法是[fieldname]。如果您引用顶级字段，则可以省略 [] 并仅使用字段名。要引用嵌套字段，请指定该字段的完整路径:[顶级字段][嵌套字段]。

https://www.elastic.co/guide/en/logstash/5.2/event-dependent-configuration.html