azure - Cloudera on cloud (Azure) 架构说明

Question

我是 Hadoop/Cloudera 世界的新手，我需要在 Microsoft Azure 云上设置一个 Cloudera 集群。
如果我理解正确，有两种方法可以在集群上安装 Cloudera:使用 Cloudera Manager 或手动安装。
根据这个模式，Cloudera Manager 和 3 个主节点似乎需要一台专用机器。



但在这张表中，我似乎可以直接在主节点上安装 Cloudera Manager。



所以这是我的疑问/问题:

1)是否有必要在专用机器上安装Cloudera Manager
(如果是，为什么)？或者可以直接安装在主节点上吗？

2)为什么有3个主节点？据我了解，2大师
节点可用于高可用性(它们是每个节点的镜像
其他具有相同配置和服务，可用于
热开关)。第三个主节点的目的是什么以及为什么
与其他两个不同吗？

3) Cloudera Director 的目的是什么？
与 Cloudera Managera 的区别？我读过它可以使用
用于自动部署到云，但我不清楚
我到底能用什么。

提前感谢您提供任何信息。

Answer 1

您可以从 Cloudera 文档中查看 https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_ig_host_allocations.html根据您的集群大小和高可用性要求，您可以拥有不同数量的主节点:

对于最多 10 个工作节点且没有高可用性的小型集群，您可以只有一个主节点(不建议用于生产)

对于具有高可用性的小型集群，您可以有两个主节点

一个更大的集群(最多 200 个工作节点)可以有三个主节点 - 请注意，他们的示例仅运行两个 NameNode 实例，因为其目的是将工作负载分散到更多节点上，而不是对该角色进行多数投票。

多达 1000 个工作节点和五个主节点。

同样，用于 Cloudera Manager 的实用程序主机在上述前两种情况下用于所有 Utility 和 Edge 角色，然后随着集群大小变大，显示更多实用程序主机，在这些情况下 Cloudera Manager 是唯一运行的实用程序在它的主机上。

https://www.cloudera.com/products/product-components/cloudera-director.html介绍 Cloudera Director，它是一个帮助您在公共(public)云(AWS/Azure/Google Cloud)中运行 Hadoop 集群的工具。 Cloudera Director 与 Cloudera Manager 一起提供云集群的集中管理。 https://www.cloudera.com/documentation/director/2-2-x/topics/director_cdh_cluster_management.html也是 Cloudera Director 和 Cloudera Manager 区别的有用引用。