hadoop - Flume:通过 API 将文件发送到 HDFS

Question

我是 Apache Flume-ng 的新手。我想将文件从客户端代理发送到服务器代理，服务器代理最终将文件写入 HDFS。我看过http://cuddletech.com/blog/?p=795 .这是迄今为止我发现的最好的。但它是通过脚本而不是通过 API。我想通过 Flume API 来完成。请在这方面帮助我。并告诉我步骤，如何开始和组织代码。

Answer 1

我认为您或许应该更多地解释一下您想要实现的目标。

您发布的链接似乎正好满足您的需要。您需要在客户端启动 Flume 代理来读取文件并使用 Avro 接收器发送它们。然后您的服务器上需要一个 Flume 代理，它使用 Avro 源来读取事件并将它们写入您想要的位置。

如果您想直接从应用程序发送事件，请查看 Flume 1.4 中的嵌入式代理或 log4j2 中的 Flume appender 或(更糟糕的)Flume 中的 log4j appender。