gpt4 book ai didi

nginx - 将 Nginx 日志放入 Kafka 的最佳选择?

转载 作者:行者123 更新时间:2023-12-04 14:12:43 51 4
gpt4 key购买 nike

我们正在处理来自我们添加到 HDFS 上的几台服务器的大型日志文件。我们目前有一个很好的批处理解决方案(主要是每天移动和写入文件),并希望使用 Kafka 实现一个实时解决方案。

基本上,我们需要将来自 Nginx 的日志放入 Kafka,然后编写一个消费者写入 HDFS(这可以通过 HDFS 消费者 https://github.com/kafka-dev/kafka/tree/master/contrib/hadoop-consumer 来完成)。

您会推荐哪种方法将日志移动到 Kafka 中?

  • 我们可以写一个 nginx 模块,但没那么简单。这个https://github.com/DemandCube/Sparkngin可以提供一些线索。
  • 读取日志文件(tail ...)看起来是个坏主意,因为有一个无用的写操作。 Logstash 在推送到 Kafka 之前还需要写/读操作,这似乎没有必要。

  • 还有其他想法吗?

    最佳答案

    试试 linux 管道 尾+ kafkacat .

    从标准输入读取消息,使用快速压缩生成“系统日志”主题

    tail -F /var/log/syslog | kafkacat -b mybroker -t syslog -z snappy

    小心使用-F而不是-f,-F可以处理 日志轮换问题 .
    -F 继续尝试打开文件,即使文件不可访问或变得不可访问;按名称跟踪时很有用。

    关于nginx - 将 Nginx 日志放入 Kafka 的最佳选择?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25452369/

    51 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com