hadoop - Hadoop 中的节点标签

Question

只是想了解节点标签如何与 HDFS 一起工作。我了解使用 yarn 进行处理，并在节点标签下定义有限的节点集。它是如何在 HDFS 级别进行管理的？假设我有 40 个节点并为节点标签分配 20 个节点。

1. 数据会从一个节点复制到另一个节点进行处理吗？
2. 数据是否仅驻留在节点标签下的那些节点中。

努力获取有关上述主题的资料。

Answer 1

好吧，节点标签仅用于 YARN 处理。数据处理可能有也可能没有本地可用的数据。在这种情况下，数据将从另一个节点流式传输。处理时间会受到影响。根据用例，标签可能有用也可能没用。