hdfs - KAFKA生产者可以读取日志文件吗？

Question

我的应用程序的日志文件在服务器上不断累积。我想通过 KAFKA 将它们转储到 HDFS。我希望 Kafka 生产者读取日志文件，将它们发送到 Kafka 代理，然后将这些文件移动到另一个文件夹。可以Kafka 生产者读取日志文件？另外，是否可以在 Kafka producer 中使用复制逻辑？

Answer 1

• Kafka 在称为主题的类别中维护消息提要。
• 我们将调用向 Kafka 主题生产者发布消息的进程。
• 我们将调用订阅主题的进程并处理已发布消息消费者的提要..

• Kafka 作为由一个或多个服务器组成的集群运行，每个服务器称为代理。

• 因此，在较高层次上，生产者通过网络将消息发送到 Kafka 集群，而 Kafka 集群又像这样将消息提供给消费者:

所以这不适合您想要注入(inject)日志文件的应用程序。相反，您可以尝试 flume。

Flume 是一种分布式、可靠且可用的服务，用于高效地收集、聚合和移动大量日志数据。它具有基于流式数据流的简单灵活的体系结构。它具有可调节的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错性。它使用允许在线分析应用程序的简单可扩展数据模型。