Hadoop 与 hive

Question

我们想要使用 Hadoop 开发一个简单的 Java EE Web 应用程序，并进行日志文件分析。以下是开发应用程序的方法。但是我们无法通过该方法。

1. 日志文件将使用 sftp/ftp 从客户端计算机上传到 Hadoop 服务器。
2. 调用Hadoop Job获取日志文件并将日志文件处理到HDFS文件系统中。
3. 在处理日志文件时，内容将存储到 HIVE 数据库中。
4. 从客户端 Web 应用程序使用 HIVE JDBC 连接搜索日志内容

我们浏览了如此多的示例以完整填写一些步骤。但是我们没有任何具体的样本不可用。

请建议上述方法是否正确，并获取用 Java 开发的示例应用程序的链接。

Answer 1

我想指出几点:
a) 您需要合并日志文件或以其他方式注意您没有太多日志文件。考虑 Flume (http://flume.apache.org/)，它被构建为接受来自各种来源的日志并将它们放入 HDFS。
b) 如果您使用 ftp - 您将需要一些脚本来从 FTP 获取数据并将其放入 HDFS。
c) 我看到的主要问题是——作为客户端 Web 请求的结果运行 Hive 作业。 Hive 请求不是交互式的——它至少需要几十秒，甚至可能更多。
我也会改变并发请求 - 你可能不能并行运行更多