hadoop - 如何在EC2的不同机架中创建两个实例？ (AWS中的机架感知)

Question

我正在尝试创建一个Hadoop集群。我正在使用经过修改的Hadoop源，它将根据机架的工作量将任务调度到不同的机架。为了对此进行测试，我希望我的Datanode的一半放在一个机架上，另一半在另一个机架上。我该如何确保？

Answer 1

Amazon EC2上没有“机架”的概念。您拥有的唯一控制级别是可用区，它是物理上不同的数据中心。但是，Hadoop群集始终在同一可用区中运行以提高速度，并且还因为，如果主节点发生故障，则整个群集也会发生故障。 (这是在EMR上的-如果您已部署了自己的集群，则可以采用多可用区。)

如果您担心避免多次中断，我的建议是“不用担心!”。 Hadoop旨在处理故障，因此，如果节点发生故障，它将把工作发送到其余节点。您可以为群集配置其他节点以替换发生故障的节点，但这不会自动完成。

与其将“我的数据节点的一半放在一个机架上，另一半的数据节点放在不同的机架上”，倒不如说每个节点都在不同的主机上，这样您可能会得到一个更大的基础设施仅有两个“机架”。但是，您无法看到此类放置。

另外，建议您将持久性数据存储在Amazon S3中，而不是HDFS 中。这样，您可以终止集群并且您的数据仍然可用，并且在最坏的情况下，如果集群发生故障，您的数据也仍然可用。这比不会损失HDFS的普通本地Hadoop部署要好。

底线:不用担心。部署群集并进行监视，以查看故障是否真正令人担忧。