elasticsearch - 如何在elasticsearch中对时间戳进行减法运算？

Question

我将一些服务器日志转储到 elasticsearch 中。日志包含诸如 'action_id':'AU11nP1mYXS3pt6INMtU','action':'start','time':'March 31st 2015, 19:42:07.121' 和 'action_id' 之类的条目:'AU11nP1mYXS3pt6INMtU','action':'complete','time':'2015 年 3 月 31 日，23:06:00.271'。相同的 action_id 指的是单个 Action ，我对完成一个 Action 需要多长时间感兴趣。

我真的不知道用 elasticsearch 的方式来构建我的问题，但我会尽我最大的努力:如何根据从 'action':'start' 到 'action':'complete'？

如果有帮助，我正在使用 kibana 进行可视化。

Answer 1

我查看了 scripted metric aggregation 给出的示例并针对这个问题修改了它:

{
   "aggs": {
      "actions": {
         "terms": {
            "field": "action_id"
         },
         "aggs": {
            "duration": {
               "scripted_metric": {
                  "init_script": "_agg['delta'] = 0",
                  "map_script": "if (doc['action'].value == \"complete\"){ _agg.delta += doc['time'].value } else {_agg.delta -= doc['time'].value}",
                  "combine_script": "return _agg.delta",
                  "reduce_script": "duration = 0; for (d in _aggs) { duration += d }; return duration"
               }
            }
         }
      }
   }
}

首先，它使用术语聚合为每个 action_id 创建桶。

然后，它会为每个存储桶计算一个脚本化指标。

在 map 步骤中，每个分片将“完整”时间戳作为正值，将其他时间戳(即“开始”时间戳)作为负值。然后在 combine 步骤中返回它们。在 reduce 步骤中，它会将所有分片上的操作持续时间相加(因为“开始”和“完成”事件可能位于不同的分片上)以获得实际持续时间。

我不确定此聚合的性能，但您可以在您的数据集上尝试一下。请注意，它还被标记为实验性功能。