hadoop - 使用 Hadoop 开发 Web 分析

Question

我想开发一个网络分析平台，以便通过解析 apache 访问日志来创建有关网络流量(页面浏览量、访问量、访问者等)的聚合数据。

我可以仅使用 Hadoop 和纯 Map/Reduce 作业来完成吗？

使用 Hive 是矫枉过正还是“必须”？

Answer 1

Hive或 Pig是 Hadoop MapReduce 作业的抽象层，使创建/运行 MR 作业变得容易。 Pig 和 Hive 脚本易于编写，并且会自动转换为 MR 作业。

与任何抽象层一样，Pig 和 Hive 脚本的编写时间比 Java 中的 MR Job 少得多，但开销有点大。随着 Pig 和 Hive 变得越来越成熟，这种差距将会缩小。

Kevin量化他的经验，他发现通常 Pig 脚本是用大约 5% 的时间编写的原生 map/reduce 代码的 5%。但是，查询通常需要 110-150% 的时间来执行 native map/reduce 作业。

总而言之，Hive 不是必须的，但它可以让最终用户更轻松地创建/运行 MR 作业，但需要一些开销。