elasticsearch - Logstash-ElasticSearch中的聚合

Question

我正在将logstash与input-elasticsearch和output-elasticsearch一起使用.Elastic Search都有不同的实例。
在数据到达输出块之前，我想聚合一些文档，创建新文档的哈希，然后在 flex 搜索中插入嵌套的文档。
所以基本上我想在将嵌套文档插入Elasticsearch之前进行一些处理，这可能吗？

input{
    # something here to get a value of variable stored in a different file
    elasticsearch{
    hosts=>"abc.de.fg.hi:jklm"
    query=>'{--some query---}'
    }
    }
    output{

    elasticsearch{
    hosts=>"xxx.xx.xx.xx:yyyy"

    }

Answer 1

我正在使用“聚合”插件。

在我的情况下，输入是来自UDP的，我用“grok”过滤了它，但是我相信您可以通过稍微调整代码来实现您想要的功能。

如果没有您想要完全实现的示例，那么我能做的最好的就是向您展示我的代码示例:

aggregate {
    task_id => “%{action}_%{progress}”
    code =>
    “
    map[‘avg’] || = 0;
    map[‘avg’] += event.get(‘elapsed’);
    map[‘my_count’] || = 0;
    map[‘my_count’] += 1;

    if (map[‘my_count’] == ${LogstashAggregationCount})#Environment variable
        event.set(‘elapsedAvg’, (map[‘avg’] / map[‘my_count’]))
        event.set(‘Aggregetion’, true)
        map[‘avg’] = 0
        map[‘my_count’] = 0
    end
    “
}    
if (![Aggregetion]) {
    drop {}
}

当然，您需要适应特定情况。有关我的代码的更多详细说明，请阅读: How to Use Logstash Aggregations