json - Logstash:将不同的json字段发送到Elasticsearch中的不同类型

Question

我将以下格式的JSON数据发送到Logstash实例
在http端点上侦听

{
    client: "c",
    pageInfo: ["a","b","c"],
    restInfo: ["r","s","t"]
}

我的目标是将此输入作为同一索引中的两种不同类型发送到Elasticsearch端点。例如

 PUT elasticsearchhost:port/myindex/pageInfo  
       { client: "c", pageInfo: ["a","b","c"] }

 PUT elasticsearchhost:port/myindex/restInfo  
       { client: "c", restInfo: ["r","s","t"] }

我已经尝试在logstash中使用一些 过滤器(拆分，变异，grok)，但是我不明白如何执行此非常特定的拆分，或者是否必须在输出部分中修改我的配置

Answer 1

您将需要使用clone克隆事件，然后修改克隆。

例如:

filter { 
  clone { clones => ["pageInfo", "restInfo" ]  }
  if [type]=="pageInfo" {
     mutate {
        remove_field => "restInfo"
     }
  }
  if [type] == "restInfo" {
     mutate {
        remove_field => "pageInfo"
     }
  }
}

然后在 elasticsearch输出中，确保包括 document_type => "%{type}"