elasticsearch - Fluentd Elasticsearch 目标索引

Question

我正在使用 Fluentd将数据传输到 Elasticsearch。

td-agent.conf

## ElasticSearch
<match es.**>
  type elasticsearch
  target_index_key @target_index  
  logstash_format true
  flush_interval 5s
</match>

Elasticsearch 索引:

"logstash-2016.02.24" : {
    "aliases" : { },
    "mappings" : {
      "fluentd" : {
        "dynamic" : "strict",
        "properties" : {
          "@timestamp" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          "dummy" : {
            "type" : "string"
          }

        }
      }
    },

传输json数据:

$ curl -X POST -d 'json={"@target_index": "logstash-2016.02.24","dummy":"test"}' http://localhost:8888/es.test

它应该将数据写入给定的索引而不是它创建新索引 - logstash-2016.02.25 并将数据写入其中。我想将数据写入给定的索引。

这是 Fluentd elasticsearch github 链接: https://github.com/uken/fluent-plugin-elasticsearch

如果我遗漏了什么，请纠正我。

Answer 1

也许这是旧的但实际上我遇到了同样的问题并解决了

logstash_format false
index_name fluentd

这只会创建 fluentd 作为索引。来自fluentd官方教程https://docs.fluentd.org/output/elasticsearch

logstash_format(可选):此选项设置为 true 时，Fluentd 使用常规索引名称格式 logstash-%Y.%m.%d(默认值:false) .此选项取代 index_name 选项。

要清理旧索引，请考虑使用 Curator:https://github.com/elastic/curator

希望对大家有帮助。