hadoop - Hadoop环境不佳

Question

我是学生，正在从事计算机科学。作为研究的一部分，我正在研究hadoop环境。在我之前从事这项研究的人员已为9 Datanode配置了一个namenode和一个standby节点。我们将网络流量数据存储在配置单元中，我正在开发配置单元查询以识别网络攻击。从事此工作的人已经离开我们的地方，去其他地方工作，忙于工作。所以我有几个问题:

1)如何了解我的环境的HDFS架构，即如何连接机器以构建此环境。另外，此环境在哪些计算机上安装了哪些服务？

2)现在我们的环境中有9个数据节点，我的教授想减少这些数据节点。她的目标是在这种环境下使用2-3(最小)台机器进行研究。

3)有什么好方法可以轻松了解cloudera和hadoop？还可用于显式启动和停止服务的命令。

4)现在，在cloudera管理器中，我无法启动Namenode服务器，Secondary datanode和另一个。我按顺序从cloudera停止了所有服务，然后按顺序启动，并且按顺序启动HDFS服务，因此在启动它时，它会给出namenode datanode和datanode8的失败消息。





我尝试了几种方法，但是没有运气。请向我建议一些解决问题的方法和丰富的资源(适用于初学者)，我可以引用进一步深入研究。

谢谢。

Answer 1

有几种资源可以开始。对于Cloudera / CDH而言，一切都是Cloudera Documentation。对于Hadoop，最适合的地方是Hadoop Documentation。现在，我认为这是一个很大的问题。如果您是Hadoop的新手，最好从书籍和一些介绍开始(由于我还没有读过任何书籍，所以我不推荐这样做)。

对于您的特定问题，某些服务似乎无法启动。您需要查看各个节点上的服务日志。我无法告诉您这些日志在哪里，因为它取决于您的发行版及其配置方式。我怀疑一个重要的服务无法启动(可能是HDFS，看起来像namenode已关闭)，这导致其他所有服务都失败了。 Hadoop Wiki有一个troubsleshooting guide，请尝试遵循它，看看是否有帮助。

关于如何调整群集大小的问题，请首先启动并运行它，然后考虑更改它。请引用Decommissioning and Recommissioning Hosts。