hadoop 日志记录工具？

Question

如果我要使用 zookeeper 作为工作队列并连接到它的个人消费者/ worker 。作为记录这些员工事件的良好分布式设置，您会推荐什么？

假设如下:

1) 在任何时候，我们都可以只使用一台装有 hadoop 集群的计算机。该系统将根据需要自动放大和缩小，但在只需要一台计算机的情况下有很多停机时间。

2) 我只需要能够访问所有工作人员日志，而无需访问工作人员所在的个人机器。请记住，当我开始阅读这些日志之一时，该机器很可能已终止并早已消失。

3) 我们需要轻松访问日志，即能够 cat/grep 和 tail 或以更 SQLish 的方式进行选择——我们需要实时查询和短时间监控输出的能力实时时间。 (即 tail -f/var/log/mylog.1)

在此感谢您的专家意见!

谢谢。

Answer 1

您是否考虑过使用 Flume、chukwa 或 scribe - 确保您的 flume 等进程可以访问您试图聚合到中央服务器上的日志文件。

水槽引用: http://archive.cloudera.com/cdh/3/flume/Cookbook/

楚夸语: http://incubator.apache.org/chukwa/docs/r0.4.0/admin.html

抄写员: https://github.com/facebook/scribe/wiki/_pages

希望对您有所帮助。