logging - Chukwa 和 Scribe 哪个更好？

Question

我正在使用 Hadoop，但为了记录我需要一些东西。但是我不知道在 Scribe 和 Chukwa 之间登录系统哪个更好。你们能告诉我吗？如果有任何易于与 Hadoop 混合的替代方案，请告诉我。

Answer 1

我有一个替代方案:

Apache Flume 由 Cloudera 构建，主要用于将数据输入/输出 HDFS。

https://cwiki.apache.org/confluence/display/FLUME/Index

每个系统都有利有弊，它们在大规模运行时都存在一定的可靠性问题，但我可以说 Flume 是用 java 构建的，因此可以使用主要的 HDFS 库。

我们在许多节点上使用 flume 将数据从我们的机器获取到 HDFS 和 S3。