amazon-web-services - 如何使用 Logstash Forwarder 将日志发送到 AWS 上的不同节点

Question

我们想使用 Logstash 转发器(以前称为 Lumberjack)将日志推送到中央 Logstash 索引器。反过来，索引器会将日志条目馈送到与索引器位于同一服务器上的 Elastic Search。我们已经在单台计算机上运行的虚拟机上成功实现了设置，现在想要在我们的 AWS 实例上进行设置。我们希望转发器位于一个 EC2 实例上，而索引器和 Elastic Search 位于另一个 EC2 实例上。我们的配置文件如下所示:

Logstash 转发器配置:

{
"network": {
    "servers": [
        "public.facing.url.com:5555"
    ],
    "ssl ca": "logstash-forwarder.crt",
    "timeout": 15
},
"files": [
    {
        "paths": [
            "messages",
            "/var/log/tomcat7/*.log"
        ],
        "fields": {
            "type": "syslog"
        }
    },
]
}

Logstash(作为索引器)配置:

input{
lumberjack{
    port=>5555
    ssl_certificate=>"logstash-forwarder.crt"
    ssl_key=>"logstash-forwarder.key"
    type=>"linkoslogs"
}stdin{
    type=>example
}
}output{
    elasticsearch{
        host=>"127.0.0.1"
    }
}

Logstash(索引器)启动正常，没有异常(exception)。它表明它已准备好并在端口 5555 上等待 Lumberjack。然而，Logstash 转发器在启动时失败:

2014/02/27 21:29:53.797935 Connecting to 1.2.3.4:5555 (public.facing.url.com)
2014/02/27 21:30:08.798198 Failure connecting to 1.2.3.4: dial tcp 1.2.3.4:5555: i/o timeout
2014/02/27 21:30:09.799179 Connecting to 1.2.3.4:5555 (public.facing.url.com)
... (repeats itself indefinitely)

当另一个 AWS 实例尝试启动通信时，我是否必须明确指示 AWS 允许通过端口 5555 进行通信？我想不出还有什么会阻止 cargo 代理弥合与索引器的差距。

Answer 1

在运行Logstash Indexer 的安全组上为运行Logstash Forwarder 的安全组打开5555 端口 (即使两者的安全组相同!!!)

使用 群组 ID 值(value)。例如 sg-18e1f37a