gpt4 book ai didi

Hadoop 节点需要很长时间才能退役

转载 作者:可可西里 更新时间:2023-11-01 14:18:49 25 4
gpt4 key购买 nike

编辑:我终于弄明白问题出在哪里了。一些文件设置了非常高的复制因子,我正在将我的集群减少到 2 个节点。一旦我降低了这些文件的复制因子,退役就很快成功结束了。

我在 dfs.hosts.excludemapred.hosts.exclude 文件中添加了要停用的节点,并执行了这个命令:

bin/hadoop dfsadmin -refreshNodes

在 NameNode UI 中,我在 Decommissioning Nodes 下看到了这个节点,但它花费的时间太长,而且我没有太多关于正在退役的节点的数据。

停用节点是否总是需要很长时间,或者我应该寻找某个地方?我不确定到底发生了什么。

我在这个节点上也没有看到任何损坏的 block :

$ ./hadoop/bin/hadoop fsck -blocks /
Total size: 157254687 B
Total dirs: 201
Total files: 189 (Files currently being written: 6)
Total blocks (validated): 140 (avg. block size 1123247 B) (Total open file blocks (not validated): 1)
Minimally replicated blocks: 140 (100.0 %)
Over-replicated blocks: 6 (4.285714 %)
Under-replicated blocks: 12 (8.571428 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 1.9714285
Corrupt blocks: 0
Missing replicas: 88 (31.884058 %)
Number of data-nodes: 3
Number of racks: 1
FSCK ended at Mon Jul 22 14:42:45 IST 2013 in 33 milliseconds


The filesystem under path '/' is HEALTHY

$ ./hadoop/bin/hadoop dfsadmin -report
Configured Capacity: 25357025280 (23.62 GB)
Present Capacity: 19756299789 (18.4 GB)
DFS Remaining: 19366707200 (18.04 GB)
DFS Used: 389592589 (371.54 MB)
DFS Used%: 1.97%
Under replicated blocks: 14
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)

Name: 10.40.11.107:50010
Decommission Status : Decommission in progress
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 54947840 (52.4 MB)
Non DFS Used: 1786830848 (1.66 GB)
DFS Remaining: 6610563072(6.16 GB)
DFS Used%: 0.65%
DFS Remaining%: 78.21%
Last contact: Mon Jul 22 14:29:37 IST 2013


Name: 10.40.11.106:50010
Decommission Status : Normal
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 167412428 (159.66 MB)
Non DFS Used: 1953377588 (1.82 GB)
DFS Remaining: 6331551744(5.9 GB)
DFS Used%: 1.98%
DFS Remaining%: 74.91%
Last contact: Mon Jul 22 14:29:37 IST 2013


Name: 10.40.11.108:50010
Decommission Status : Normal
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 167232321 (159.49 MB)
Non DFS Used: 1860517055 (1.73 GB)
DFS Remaining: 6424592384(5.98 GB)
DFS Used%: 1.98%
DFS Remaining%: 76.01%
Last contact: Mon Jul 22 14:29:38 IST 2013

最佳答案

即使您没有太多数据,退役也不是一个即时过程。

首先,当您退役时,这意味着必须复制相当多的数据 block (取决于您的 block 大小有多大),这很容易使您的集群不堪重负并导致操作问题,所以我认为这有点节流。

此外,根据您使用的 Hadoop 版本,监控停用的线程只会偶尔唤醒。在早期版本的 Hadoop 中,它曾经是大约 5 分钟,但我相信现在是每分钟或更少。

正在进行退役 意味着正在复制 block ,所以我想这真的取决于你有多少数据,你只需要等待,因为这不会充分利用你的集群这个任务。

关于Hadoop 节点需要很长时间才能退役,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17789196/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com