elasticsearch - 将日志从远程服务器拉入Elasticsearch

Question

简短的问题是:是否可以从远程服务器中提取日志(在日志文件中)并将其提取到ELK堆栈中。

长话如下:

我们有一个DMZ的安装程序，它公开面向

我们有一个intranet环境，该环境托管许多内部系统，包括ELK堆栈

根据安全法规，我们无法建立从DMZ到intranet的连接(在IP级别上)。

我们可以建立从intranet到DMZ的连接

由于此设置，我们无法遵循在存储日志的服务器上安装 Filebeat并将邮件推向 logstash安装的常规方法。

我们要做的是看起来像以下内容:

Filebeat或任何其他进程在DMZ

内部收集服务器上的日志

在此服务器上，有一些过程(Filebeat，logstash，另一个elasticsearch实例？)将这些信息保存在本地商店

中。

此工具(无论最终结果如何)都在intranet

可用的端口上进行侦听

intranet内部的另一个工具连接到DMZ工具，并提取所有收集的日志以进行进一步处理。

我们的调查结果只得出了将日志信息推送到 logstash或 elasticsearch的解决方案。

我们不想做的一件事是使用文件共享使日志文件可直接从 intranet获得。

我们的问题是，我们究竟有什么想法是可能的，如果可以的话，我们将使用什么工具以及使用哪种设置来实现。

Answer 1

您可以使用Kafka作为消息代理来尝试以下操作

在DMZ服务器上，您将获得文件拍子收集日志并发送到Logstash实例，此Logstash实例会将您的日志输出到kafka。

这是一个简单的管道，具有beats输入，fitler和kafka输出，如果您不想对数据进行任何扩充，则可以将日志从filebeat直接发送到kafka。

然后，您的kafka经纪人将在端口上侦听并等待任何使用者连接并使用消息。

在intranet上，您将需要一个带kafka输入的管道的logstash实例，该管道将充当kafka使用者并提取消息，然后可以使用elasticsearch输出进行存储，然后将其存储在intranet elasticsearch集群中。

有关更多信息，请阅读kafka documentation以及logstash文档中的kafka input和kafka output文档。