elasticsearch - Elasticsearch文档关联

Question

Elasticsearch中有没有一种方法可以将两个文档关联起来，基本上说:“这两个文档属于同一个人”。

例如，我希望能够关联属于同一流的TCP数据包，因此，如果得到SYN和SYN-ACK，我想说这两个数据包彼此相关。

最后，我希望能够说:“给我所有没有相应SYN-ACK的SYN数据包”。

任何帮助表示赞赏

编辑:也许通过logstash聚合器提供数据包将实现此目的？然后我可以将数据包分组为“流索引”？

Answer 1

如果通过Logstash加载TCP事件，则可以利用 aggregate filter。

例如，下面的过滤器配置将在每个SYN上创建一个合成事件，并在每个SYN-ACK上“释放”它。您只需要标识一个字段some_unique_id即可将两个数据包关联在一起。另外，请确保查看正确的timeout(此处为120秒)

 filter {    
   if [type] == "SYN" {
     aggregate {
       task_id => "%{some_unique_id}"
       map_action => "create"
     }
   }

   if [type] == "SYN-ACK" {
     aggregate {
       task_id => "%{some_unique_id}"
       map_action => "update"
       end_of_task => true
       timeout => 120
     }
   }
 }