elasticsearch - logstash dns 过滤器中的 hit_cache_size 如何工作？

Question

我正在为我的 csv 文件在 logstash 中使用 dns 过滤器。在我的 csv 文件中，我有两个字段。他们是网站和计数。

这是我的 csv 文件的示例内容:

|website|n|
|www.google.com|n1|
|www.yahoo.com|n2|
|www.bing.com|n3|
|www.stackoverflow.com|n4|
|www.smackcoders.com|n5|
|www.zoho.com|n6|
|www.quora.com|n7|
|www.elastic.co|n8|

这是我的logstash配置文件:

  input {
       file {
          path => "/home/paulsteven/log_cars/cars_dns.csv"
          start_position => "beginning"
          sincedb_path => "/dev/null"
       }
    }
    filter {
        csv {
            separator => ","
            columns => ["website","n"]
        }
        dns { 
          resolve => [ "website" ] 
          action => "replace" 
          hit_cache_size => 8000 
          hit_cache_ttl => 300 
          failed_cache_size => 1000 
          failed_cache_ttl => 10
        }
    }
    output {
      elasticsearch {
        hosts => "localhost:9200"
        index => "dnsfilter03"
        document_type => "details"
      }
      stdout{}
    }

以下是通过 logstash 的示例数据:

  {
          "@version" => "1",
              "path" => "/home/paulsteven/log_cars/cars_dns.csv",
           "website" => "104.28.5.86",
                 "n" => "n21",
              "host" => "smackcoders",
           "message" => "www.smackcoders.com,n21",
        "@timestamp" => 2019-04-23T10:41:15.680Z
    }

在logstash 配置文件中，我想知道 hit_cache_size .它有什么用。我在弹性网站上阅读了 dns 过滤器指南，但无法弄清楚。我在我的 logstash 配置中添加了该字段，但什么也没发生。我能得到任何例子吗？我想知道 hit_cache_size的用途.工作是什么，它在 dns 过滤器中做什么

Answer 1

hit_cache_size允许您存储成功请求的结果，因此如果您需要在同一主机上运行 dns 请求，则将查看缓存，并且仅在主机未缓存时才进行 dns 查找。

如果您的数据有唯一的主机，那么没有理由使用 hit_cache_size因为主机只出现一次。
hit_cache_ttl与 hit_cache_size 一起使用并说明请求将存储在缓存中的秒数。