nginx - 将 Nginx 日志放入 Kafka 的最佳选择？

Question

我们正在处理来自我们添加到 HDFS 上的几台服务器的大型日志文件。我们目前有一个很好的批处理解决方案(主要是每天移动和写入文件)，并希望使用 Kafka 实现一个实时解决方案。

基本上，我们需要将来自 Nginx 的日志放入 Kafka，然后编写一个消费者写入 HDFS(这可以通过 HDFS 消费者 https://github.com/kafka-dev/kafka/tree/master/contrib/hadoop-consumer 来完成)。

您会推荐哪种方法将日志移动到 Kafka 中？

我们可以写一个 nginx 模块，但没那么简单。这个https://github.com/DemandCube/Sparkngin可以提供一些线索。

读取日志文件(tail ...)看起来是个坏主意，因为有一个无用的写操作。 Logstash 在推送到 Kafka 之前还需要写/读操作，这似乎没有必要。

还有其他想法吗？

Answer 1

试试 linux 管道 尾+ kafkacat .

从标准输入读取消息，使用快速压缩生成“系统日志”主题

tail -F /var/log/syslog | kafkacat -b mybroker -t syslog -z snappy

小心使用-F而不是-f，-F可以处理 日志轮换问题 .
-F 继续尝试打开文件，即使文件不可访问或变得不可访问；按名称跟踪时很有用。