gpt4 book ai didi

Hadoop 节点和角色

转载 作者:可可西里 更新时间:2023-11-01 14:58:33 27 4
gpt4 key购买 nike

我有一个 Hadoop 集群在工作,它有超过 50 个节点,我们偶尔会遇到磁盘故障并需要停用数据节点角色。

我的问题是 - 如果我只停用数据节点并让 tasktracker 保持运行,这是否会由于该节点上的 HDFS 服务不可用而导致该节点上的任务/作业失败?

最佳答案

  1. Node1 上的 TaskTracker 是否闲置,因为该节点上没有 DataNode 服务? 正确,如果数据节点被禁用,那么任务跟踪器将无法处理数据,因为数据将不可用;它将空闲。 2. 或者 TaskTracker 是否处理来自其他节点上的 DataNode 的数据? 不会,由于数据局部性原则,任务跟踪器不会处理来自其他节点的数据。。 3. Node1 上的 TaskTracker 服务是否由于其节点上的 DN 关闭而出现错误? , Task tracker 将无法处理任何数据,因此没有错误。; 4. 如果我在 HDFS 上运行 Hive、Impala 等服务——这些服务会在与 Node1 上的 TaskTracker 联系时抛出错误吗? 它们将无法联系节点 1 上的任务跟踪器。当客户端请求处理数据时,名称节点会告诉客户端数据位置,因此所有其他应用程序将根据数据位置与数据进行通信节点

关于Hadoop 节点和角色,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27946190/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com