hadoop - 尝试设置伪 dist hadoop 集群时感到沮丧

Question

在过去的 8 个小时里，我一直在尝试设置我的 Hadoop 集群，老实说，这让我筋疲力尽。不仅仅是今天。准确地说是几周了。我已经尝试了大约 20-30 个我在网上获得的不同教程，每次我都会在最后遇到错误......比如 SSH 连接问题或 JVM 故障或 PATH 问题或最糟糕的问题(WARN util.NativeCodeLoader:Unable为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类)...等等。所有这些导致我一遍又一遍地重置我的 VMplayer 并重新安装 Ubuntu。

我正在努力获得 Hadoop 开发人员认证，我需要亲 body 验从 MapReduce 和 Hadoop 到生态系统(Hive、PIG 等)的所有方面。我现在唯一能做的就是设置集群进行练习。我已经没有选择了

我的问题是有没有什么方法(越简单越好，但任何方法都可以)安装 Hadoop MapReduce Version 2(YARN) 而不用扯我的头发？我真的很喜欢已经证明是一致的并且对多人有用的东西。

Ubuntu 上的 64 位

编辑:提前感谢大家

Answer 1

您没有说明您使用的是 vanilla Hadoop 还是发行版。如果您使用的是 vanilla Apache Hadoop 版本，您可能想尝试像 CDH 这样的发行版。

CDH5B2 Documentation特别说明了如何在 Ubuntu 中执行安装。该发行版包含 YARN、Spark、Hive、Pig、Sqoop、Flume 等，因此它应该可以满足您的所有需求。