gpt4 book ai didi

hadoop - 1.x、2.2、0.23我应该选择哪个hadoop版本

转载 作者:可可西里 更新时间:2023-11-01 15:02:53 25 4
gpt4 key购买 nike

你好,我是 Hadoop 的新手,对版本名称很困惑,我应该在 1.x(强大的支持和学习资源)、2.2 或 0.23 中使用哪个。

我读到 hadoop 正在从 v0.23 ( link1 ) 完全迁移到 YARN。
但与此同时,整个网络都在说 hadoop v2.0 正在转向 YARN (link2),我可以在 Hadoop 2.2 本身中看到 YARN 配置文件。

  • 但因为 0.23 对我来说似乎是最新版本,所以 2.2 也一样吗?支持 yarn ? (引用链接 1,它说 hadoop 将支持来自v0.23)
  • 作为初学者,我应该选择哪个版本的 1.x 或 2.xhadoop的学习视角。
  • 是否有其他与 hadoop 协同工作的技术,如 pig、hive 等?可以使用最新版本的 hadoop 吗?

谢谢。

更新
谢谢大家的回复。我最终使用了 hadoop2.2,因为所有著名的教程和资源都已过时,尽管我找到了一本开始使用 v2.2 的好书。

"Hadoop: The Definitive Guide, Third Edition" by Tom White (Buy Here)

支持 hadoop v2.2。

源代码在github上给出https://github.com/tomwhite/hadoop-book

github上提到,本书的代码是用

测试的
This version of the code has been tested with:
* Hadoop 1.2.1/0.22.0/0.23.x/2.2.0
* Avro 1.5.4
* Pig 0.9.1
* Hive 0.8.0
* HBase 0.90.4/0.94.15
* ZooKeeper 3.4.2
* Sqoop 1.4.0-incubating
* MRUnit 0.8.0-incubating

希望对您有所帮助...!!!

最佳答案

有一些活跃的发布系列。 1.x 版本系列是 0.20 的延续发布系列。 0.23 发布几周后,以前称为 0.20.205 的 0.20 分支被重新编号为 1.0。 0.20.205 和 1.0 之间几乎没有功能差异。这只是重新编号。

0.23 包括几个主要的新特性,包括一个新的 MapReduce 运行时,称为 MapReduce 2,它在一个称为 YARN(又一个资源协商器)的新系统上实现,它是一个用于运行分布式应用程序的通用资源管理系统。同样,2.x 版本是 0.23 版本系列的延续。所以2.2也支持YARN。

根据 Hadoop 2.2 release note

  • 1.2.X - 当前稳定版本,1.2 发布

  • 2.2.X - 当前稳定的 2.x 版本

  • 0.23.X - 类似于 2.X.X 但缺少 NN HA。

我建议从 Cloudera 开始分布,因为你刚开始学习。 CDH 4.5 包含您正在寻找的 YARN 功能。你也可以试试 HortonWorks分配。与这些供应商合作的优势在于,您无需担心 Hive、Pig 等组件的哪个版本适用于您的 Hadoop 安装。

关于hadoop - 1.x、2.2、0.23我应该选择哪个hadoop版本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21858784/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com