hadoop - hadoop 集群中的边缘节点

Question

谁能解释一下 hadoop 中边缘节点的架构。我只能在互联网上找到定义，我有以下疑问-

1) 边缘节点是否必须是集群的一部分(如果它在集群内部，我们有什么优势？)。它是否将任何数据 block 存储在 hdfs 中。

2)边缘节点可以在集群外吗？

Answer 1

+1 戴尔解释。在我看来，Hadoop 集群中的边缘节点通常是负责运行 Hadoop 集群的客户端操作的节点。通常，边缘节点与包含 Hadoop 服务(如 HDFS、MapReduce 等)的节点保持分离，主要是为了保持计算资源分离。对于只有几个节点的较小集群，经常看到节点扮演主服务(JT、NN 等)、从服务(TT、DN 等)和网关服务的混合角色组合。

请注意，在同一节点上运行主从 Hadoop 服务并不是一个理想的设置，并且可能会导致扩展和资源问题，具体取决于使用的是什么。这种配置通常出现在小型开发环境中。

话虽如此，这里是对您发布的问题的一些回答:

1) 边缘节点是否必须是集群的一部分？

边缘节点不一定是集群的一部分，但是如果它在集群之外(意味着它没有运行任何特定的 Hadoop 服务角色)，它将需要一些基本的部分，例如 Hadoop二进制文件和当前的 Hadoop 集群配置文件以在集群上提交作业。

2) 如果在集群内部，我们有什么优势？

根据使用的分布，在集群中运行的边缘节点允许集中管理集群节点上的所有 Hadoop 配置条目，这有助于减少更新配置文件所需的管理量。通常这是一种一对多的方法，配置条目在一个位置更新并被推送到集群中的所有(许多)节点。

但是，当集群中的一个节点也用作边缘节点时，客户端操作会消耗 CPU 和内存资源，这会减少正在运行的 Hadoop 服务可以利用的可用资源节点。

3) 它是否在 hdfs 中存储任何数据 block ？

除非边缘节点配置了 DataNode 服务，否则数据 block 不会存储在该节点上。

4)边缘节点应该在集群外吗？

如上所述，它可以依赖于集群环境和用例；在集群外部配置它的支持原因之一是保持客户端运行和 Hadoop 服务分离。

保持边缘节点独立允许该节点利用可用于 Hadoop 处理的全部计算资源。

希望这对您有所帮助!