使用 0.23 版本(MRv2 或 NextGen MR)设置的 Hadoop 集群

Question

我看到 hadoop 的最新稳定版本是 0.20.x。最新版本是 0.23.。从 .20. 到 0.23.x 似乎有很多变化。

我们能够建立具有稳定版本(0.20.2)的小型集群并练习 mapreduce 编程。

我们已经看到在 0.23.x 中添加了许多新的 API。为了探索 0.23.x，我们还需要使用 0.23.x 版本设置集群。

你们能给我们一份文档吗，我们可以在其中设置 0.23.x 版本的集群。

当我解压 tar 文件时，0.23.x 似乎完全不同，它不像 0.20.x。请给我们一些书籍引用/文档，其中从一开始就提到了集群设置。

谢谢MRK

Answer 1

0.23 和 pre-0.23 版本之间的主要区别在于，在 0.23 中，资源管理和应用程序生命周期管理已经分开。 Pre-0.23 只允许运行 MapReduce 应用程序，但 0.23 允许运行除 MapReduce 之外的其他应用程序。 Hama、Giraph等应用已经完成移植，MPI的移植正在进行中。

We have seen lot of new api's added in 0.23.x. In order to explore 0.23.x, we need to setup cluster also with 0.23.x release.

用户 API 没有任何差异，因此现有应用程序应该无需任何代码更改即可运行，但需要更改配置文件。从 API 的角度来看，0.23 版本是向后兼容的。

这是 MRv2 架构、视频、文章等的综合列表。我会在遇到新信息时尽量及时更新它们。

http://www.thecloudavenue.com/p/mrv2resources.html