csv - Logstash:为 Elasticsearch 解析多行字段

Question

我尝试为 elasticsearch 准备一个 csv 文件。但是，csv 文件中有一个多行字段，表示一个非结构化文本字段。例如，

id_num,text
1,"bla bla bla
bla bla

bla bla bla"
2, "bla bla
bla"

对于没有多行字段的csv，我知道怎么处理，比如

input {
    stdin {}
}

filter {
  csv {
    separator => ','
    columns =>  ["id_num","text"]
   }
}

output {
  elasticsearch {
    host => 'localhost'
    index_type => "locality"
    flush_size => 1000
    protocol => 'http'
}

然而，这给了我

Unclosed quote 

错误。请帮忙!

Answer 1

你试过多行过滤器吗

例如

filter {
  multiline {
    pattern => "(^.+id_num.+)"
    what => "next"
 }
}