elasticsearch - 文档数量相同，但每次运行logstash时索引大小都在增加

Question

我正在使用mysql数据库中包含的数据的logstash发送elasticsearch。

但是每次运行logstash时，文档数保持不变，但是索引大小会增加。

首先运行
计数:333 |
字节大小:206kb

现在
数量:333 |
大小以字节为单位:1.6MB

input {
    jdbc {
        jdbc_connection_string => "jdbc:mysql://***rds.amazonaws.com:3306/"
        jdbc_user => "***"
        jdbc_password => "***"
        jdbc_driver_library => "***\mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        statement => "SELECT id,title,url, FROM tableName"
        schedule => "*/2 * * * *"
    }
}
filter {
  json {
    source => "texts"
    target => "texts"
  }
  mutate { remove_field => [ "@version", "@timestamp" ] }
}
output {
    stdout {
            codec => json_lines
    }
    amazon_es {
      hosts => ["***es.amazonaws.com"]
      document_id => "%{id}"
      index => "texts"
      region => "***"
      aws_access_key_id => '***'
      aws_secret_access_key => '***'
  }  
}

Answer 1

显然，您总是一遍又一遍地发送相同的数据。在ES中，每次更新文档(即使用相同的ID)时，旧版本都会被删除并在索引中保留一段时间(直到基础索引段被合并)。

在每次运行之间，可以发出以下命令:

curl -XGET ***es.amazonaws.com/_cat/indices?v

在收到的响应中，检查 docs.deleted列，您将看到已删除文档的数量增加。