database - 如何找到时间序列数据的最新项目？

Question

例如，有时间序列数据，例如根分区利用率。数据结构如下:

name: root_disk_utilizatoin
ip: 1.1.1.1
timestamp: 1234567890
value: 0.5

实际数据将更加复杂，但这足以说明我的问题。
我们有数百万台服务器每隔几分钟报告一次此数据。数据将存储在一些中央存储中，例如时间序列db，mysql或elasticsearch
我的期望是找到每个服务器的最新数据。
为了获得中央存储，需要

ip 的

组数据

按时间戳对数据排序并返回最新的

我想这将是一个非常昂贵的过程(花费大量时间)。那么您在系统中是否有类似的要求？您如何设计？

Answer 1

You can use a combination of terms aggregation with maxaggregation

添加带有索引数据，搜索查询和搜索结果的工作示例
索引数据:

{
  "name": "root_disk_utilizatoin",
  "ip": "1.1.1.2",
  "timestamp": 1234567891,
  "value": 0.5
}
{
  "name": "root_disk_utilizatoin",
  "ip": "1.1.1.1",
  "timestamp": 1234567890,
  "value": 0.5
}

搜索查询:

    {
  "size":0,
  "aggs": {
    "unique_id": {
      "terms": {
        "field": "ip.keyword",
        "order": {
          "latestOrder": "desc"
        },
        "size":1
      },
      "aggs": {
        "latestOrder": {
          "max": {
            "field": "timestamp"
          }
        }
      }
    }
  }
}

搜索结果:

"aggregations": {
    "unique_id": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 1,
      "buckets": [
        {
          "key": "1.1.1.2",
          "doc_count": 1,
          "latestOrder": {
            "value": 1.234567891E9
          }
        }
      ]
    }