gpt4 book ai didi

hadoop - 停用节点是否会从该节点删除数据?

转载 作者:可可西里 更新时间:2023-11-01 14:20:04 24 4
gpt4 key购买 nike

在 Hadoop 中,如果我停用一个节点,Hadoop 将在集群中重新分配文件,以便正确复制它们。退役节点的数据会被删除吗?

我正在尝试平衡特定节点上磁盘之间的数据。我计划通过停用节点然后重新启用节点来完成此操作。停用完成后我是否需要从该节点删除数据,还是只需重新启用它就足够了(将其从排除文件中删除并运行 hadoop dfsadmin -refreshNodes)?

更新:停用一个节点,删除该节点上的所有数据,然后重新启用它对我很有用。

最佳答案

据我所知,当您停用数据节点时,数据不会从该数据节点中删除。但是,在该 DataNode 上进一步写入将是不可能的。当您停用一个 DataNode 时,该 DataNode 持有的副本将被标记为“已停用”的副本,这些副本仍然有资格进行读取访问。

但是为什么要执行这个停用/重新启动周期?为什么不将所有磁盘指定为逗号分隔值到 hdfs-site.xml 中的 dfs.data.dir 属性并重新启动 DataNode守护进程。重启后运行平衡器。

关于hadoop - 停用节点是否会从该节点删除数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17839349/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com