hadoop - 无法了解Apache Hadoop 3.1.0文档中的内容

Question

我正在阅读hadoop文档，但无法理解描述副本放置"HDFS’s placement policy is to put one replica on the local machine if the writer is on a datanode, otherwise on a random datanode"的那一行。有人可以让我理解引号中的行吗？

Answer 1

基本上，如果任务与数据节点进程在同一服务器上运行，请在本地写入结果。否则，随机选择一个数据节点。

如果您在Mesos或Spark Standalone群集中运行Hadoop进程，数据节点是隔离的存储服务器，或者有专用的YARN NodeManager，它们具有较大的内存需求，但磁盘空间不多，则可能会发生这种情况。

第二个副本与第一个副本位于同一机架上，但位于不同的数据节点服务器上。

第三个副本位于群集中的其他位置，而不是在同一机架上。

至少，这就是我所学到的...文档似乎说第二个和第三个在同一远程机架上...无论如何，两个副本在同一机架上，第三个在机架上是分开的失败。