hadoop - 使用cloudera quickstartVM错误创建Hadoop集群

Question

我想使用 quickstart VM 镜像创建一个 Cloudera 集群，您可以直接从 cloudera 的网页 (http://www.cloudera.com/downloads/quickstart_vms/5-8.html) 下载该镜像。

我有三个虚拟机，我想有一个主机和两个从机。我已经对它们进行了配置，以便在 3 个虚拟机之间具有不同的主机名和 DNS 连接。但是，当我尝试添加新主机时，我通常会丢失来自其他机器的心跳，或者当它没有发生时，我会遇到版本不匹配和 HDFS 错误。

那么，在尝试添加新主机之前，我应该做任何其他配置设置吗？

Answer 1

如果您想使用 3 个快速入门来做到这一点……请不要。您将花费比从头开始创建所有内容更多的时间。

不过，操作方法:

1. Cloudera quickstart 删除任何网络硬写配置，以便在第一时间将 FQDN 关联到真实 IP。如果您重新启动计算机，取决于启动网络的速度，您会将 FQDN 重新映射到本地主机。你必须停用它。
2. 将所有节点上的默认 RPM 安装转换为 Parcel。桌面上有一个图标。为什么在所有节点上？因为您将使用包裹添加节点，并且会引发 RPM 和包裹之间的冲突。另一种方法是从 Cloudera distrib 中删除所有 RPM 包，但有忘记其中一个的风险......
3. 从您的奴隶中删除 cloudera-manager-server 和 cloudera-manager-agent。
4. 使用“将主机添加到集群”按钮使用包裹将您的奴隶添加到您的主人。

在完成所有这些之后，您需要优化 Cloudera 配置才能看到一切都是绿色的。

就个人而言，我更喜欢使用 Centos 7 而不是 Centos 6 创建一个新模板，从模板实现 3 个虚拟机，然后从头开始安装 Cloudera。