elasticsearch - 任何与十进制时间戳匹配的 elasticsearch 数据类型？

Question

我有来自日志文件的时间戳，如 {"ts": "1486418325.948487"}
我的基础架构是“filebeat”5.2.0 -->“elasticsearch”5.2

我尝试将“ts”映射到“date”——“epoch_second”，但在 filebeat 中写入失败。

PUT /auth_auditlog
{
  "mappings": {
    "auth-auditlogs": {
      "properties": {
        "ts": {
          "type":   "date",
          "format": "epoch_second"
        }
      }
    }
  }
}

filebeat 错误消息，如

WARN Can not index event (status=400): {"type":"mapper_parsing_exception","reason":"failed to parse [ts]","caused_by":{"type":"illegal_argument_exception","reason":"Invalid format: \"1486418325.948487\""}}

我试过使用“1486418325”是可以的，所以我猜 es 不接受十进制格式的时间戳。但是，python默认输出时间戳是这种格式。

我的目的是在 elasticsearch 中正确输入。我想在 elasticsearch 中使用 ts 作为原始时间戳。
除了更改原始日志数据外，欢迎任何解决方案!

Answer 1

Filebeat 没有处理此类内容的处理器。您无法替换 @timestamp使用您的日志在 Filebeat 中的那个。您可以做的是将这些东西发送到logstash 并让date过滤器解析时代。

date {
  match => ["timestamp","UNIX","UNIX_MS"]
}

另一种选择是使用摄取节点。虽然我自己没有用过这个，但它似乎也能胜任。查看文档 here .