elasticsearch - Logstash Elasticsearch压缩

Question

我有一个工作正常的ELK堆栈，想启用索引压缩。

官方的store compression documentation告诉我，在创建索引时需要这样做。

我在相关的logstash output documentation中找不到与存储压缩甚至索引设置相关的任何内容

下面是我的logstash输出配置:

output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
    sniffing => true
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

以及创建的索引设置:

{
  "filebeat-2016.04.28": {
    "settings": {
      "index": {
        "creation_date": "1461915752875",
        "uuid": "co8bvXI7RFKFwB7oJqs8cA",
        "number_of_replicas": "1",
        "number_of_shards": "5",
        "version": {
          "created": "2030199"
        }
      }
    }
  }
}

Answer 1

您需要提供自己的索引模板文件才能启用索引压缩。

因此，您需要像这样创建filebeat-template.json文件。创建新的文件信号索引时，logstash将使用此文件。

{
  "template" : "filebeat-*",
  "settings" : {
    "index.codec" : "best_compression"
  }
}

然后应该像这样修改您的 elasticsearch输出:

output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
    sniffing => true
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
    template_name => "filebeat-template"
    template => "/path/to/filebeat-template.json"
  }
}

然后，您可以删除现有的 filebeat-2016.04.28索引并重新启动logstash。后者将创建一个称为 /_template/filebeat-template的 index template，它将在每次ES需要创建一个以 filebeat-开头的新索引时插入，并将应用模板中存在的设置(其中包括商店压缩项)。