logstash - 是否可以从 HTTP URL 获取数据到 Logstash？

Question

正如标题所述，我需要将数据(CSV 或 JSON)直接输入logstash。我想要的是设置一个过滤器，比如 CSV，它直接从 http://example.com/csv.php 读取内容。进入 Logstash，而不涉及任何中间人脚本。

Answer 1

如果我理解正确的话，您正在尝试重复调用 http 资源并将数据提取到 Logstash 中。因此，您正在寻找输入而不是过滤器。

Logstash has just released一个新的http poller input用于此目的的插件。使用 bin/plugin installlogstash-input-http_poller 安装后，您可以设置如下配置来调用您的资源:

input {
  http_poller {
    urls => {
      myresource => "http://example.com/csv.php"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json" # set this if the response is json formatted
  }
}

如果响应包含 CSV，您需要设置 csv filter .

filter {
    csv{ }
}

还有一些插件可以在过滤器部分中执行 http 请求。然而，这些应该是为了丰富现有的事件，但这似乎不是您想要的。