elasticsearch - 带有 Elasticsearch 的 Logstash

Question

我正在尝试将 Logstash 与 Elasticsearch 连接起来，但无法正常工作。

这是我的 logstash 配置:

input {
  stdin {
    type => "stdin-type"
  }

  file {
    type => "syslog-ng"

    # Wildcards work, here :)
    path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog" ]
  }
}

output {
  stdout { }
  elasticsearch{
        type => "all"
        embedded => false
        host => "192.168.0.23"
        port => "9300"
        cluster => "logstash-cluster"
        node_name => "logstash"
        }
}

我只在我的 elasticsearch.yml 中更改了这些细节

cluster.name: logstash-cluster
node.name: "logstash"
node.master: false
network.bind_host: 192.168.0.23
network.publish_host: 192.168.0.23
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["localhost"]

使用这些配置我无法让 Logstash 连接到 ES。有人可以建议我哪里出错了吗？

Answer 1

首先，我建议匹配您的“类型”属性。在您的输入中，您有 2 种不同的类型，而在您的输出中，您有一种在任何输入中都不存在的类型。

为了测试，将输出更改为:

output {
stdout { }
elasticsearch{
    type => "stdin-type"
    embedded => false
    host => "192.168.0.23"
    port => "9300"
    cluster => "logstash-cluster"
    node_name => "logstash"
    }
}

那你在你的ES实例上创建索引了吗？

根据我使用的指南和我自己的经验(其他人可能有另一种方法)我一直使用索引，这样当我将某些东西推送到 ES 时，我可以使用 ES API 并快速检查是否数据是否进去了。

另一个建议是简单地运行带有调试标志的 Logstash 转发器和索引器，以查看幕后发生的情况。

你能在 127.0.0.1 上连接到你的 ES 实例吗？另外，尝试使用端口和主机进行试验。作为 Logstash 系统的新用户，我发现我一开始的理解与设置的实际情况背道而驰。有时主机 IP 不是您认为的那样，端口也是如此。如果您愿意检查您的网络并确定监听端口和 IP，那么您可以解决这个问题，否则请进行一些智能试错。

我强烈推荐这个guide作为一个全面的起点。我提到的两点都在指南中(不)直接触及。虽然该指南的起点稍微复杂一些，但想法和概念却很透彻。