hadoop - ELK 与 Kafka 和 Hadoop

Question

我不是“大数据”方面的专家:)

我的场景是几个 EC2 实例而不是生成日志。

这些日志基本上是 Syslog 和应用程序事件(自定义日志)。

我想使用 ELK 堆栈来捕获日志、应用过滤器和显示数据。

在某些情况下，我想将自定义事件发送到专用队列系统 (rabbitMQ) 以处理数据(推荐引擎)。

我的问题是，如果基本上我只想解析保留 24 小时的日志并使用 Debian 的日志轮换功能移动它们，为什么我应该使用 Kafka 和 Hadoop 之类的工具？

非常感谢您的帮助!对不起我的英语不好^^

Answer 1

如果有人感兴趣我已经用这种方式解决了:

1 - 为了使用默认日志轮换，我选择使用 Cloud Watch 服务，基本上它从 EC2 获取日志并将它们存储在云中。

2 - 为了将数据推送到 Logstash，我使用了 Lambda 服务，基本上它是一个可以执行 Java、Javascript (Nodejs) 或 Python 代码的环境。它从 CloudWatch 获取流数据流，我选择通过一个小的 Nodejs 脚本将日志存储在 S3 上。

3 - Logstash 实例直接使用来自 S3 的日志，为此有一个插件输入。