hadoop - Hbase:新添加的regionserver未切断请求

Question

我正在云基础架构上设置Hbase群集。
HBase版本:0.94.11
Hadoop版本:1.0.4

目前，我的群集中有4个节点(1个主节点，3个区域服务器)，并且我正在使用YCSB(雅虎基准)创建表(500.000行)并发送READ请求(异步READ请求)。
使用此设置，一切都可以正常工作(因为我正在用神经节监控孔的处理，并且得到了lamda，吞吐量，延迟以及YCSB的输出)，但是当我动态添加新的regionserver时，就会出现问题它没有收到任何请求。

“即时”是什么意思:
当YCSB向集群发送请求时，我正在使用python脚本添加新的regionservers。

添加过程(集群正在处理请求时):

我正在创建一个新的VM，它将充当新的区域服务器并配置每个需要的方面(hbase，hadoop，/ etc / host，连接到专用网络等)

正在停止** hbase **平衡器

使用新节点的信息配置集群中的每个节点

将主机名添加到regioservers文件中

将主机名添加到hadoop的从文件

添加主机名和IP到每个节点的/ etc / host文件中

等

在主节点上执行:

`hadoop / bin / start-dfs.sh`

`hadoop / bin / start-mapred.sh`

`hbase / bin / start-hbase.sh`
(我还尝试在新添加的节点上运行`hbase start regionserver`，并且与上一条命令完全相同-启动regionserver)

新添加的节点启动并运行后，我将执行** hadoop **负载均衡器

当hadoop负载均衡器停止时，我再次启动** hbase **负载均衡器

我正在通过ssh连接到主节点，并检查负载均衡器(hbase / hadoop)是否已完成工作，因为块和区域均均匀地分布在所有区域服务器/从属服务器(包括新服务器)上。
但是，当我在hbase shell中运行状态“简单”时，我看到新的区域服务器未收到任何请求。 (下面是添加两个新的区域服务器“okeanos-nodes-4 / 5”后的命令输出)

hbase(main):008:0> status 'simple'
5 live servers
    okeanos-nodes-1:60020 1380865800330
        requestsPerSecond=5379, numberOfOnlineRegions=4, usedHeapMB=175, maxHeapMB=3067
    okeanos-nodes-2:60020 1380865800738
        requestsPerSecond=5674, numberOfOnlineRegions=4, usedHeapMB=161, maxHeapMB=3067
    okeanos-nodes-5:60020 1380867725605
        requestsPerSecond=0, numberOfOnlineRegions=3, usedHeapMB=27, maxHeapMB=3067
    okeanos-nodes-3:60020 1380865800162
        requestsPerSecond=3871, numberOfOnlineRegions=5, usedHeapMB=162, maxHeapMB=3067
    okeanos-nodes-4:60020 1380866702216
        requestsPerSecond=0, numberOfOnlineRegions=3, usedHeapMB=29, maxHeapMB=3067
0 dead servers
Aggregate load: 14924, regions: 19

它们不满足任何请求的事实也可以通过CPU使用情况得到证明，在服务区域服务器中约为70％，而在这两个区域服务器中约为2％。

下面是 hadoop dfsadmin -report的输出，如您所见，该块是均匀分布的(根据 hadoop balancer -threshold 2)。

root@okeanos-nodes-master:~# /opt/hadoop-1.0.4/bin/hadoop dfsadmin -report
Configured Capacity: 105701683200 (98.44 GB)
Present Capacity: 86440648704 (80.5 GB)
DFS Remaining: 84188446720 (78.41 GB)
DFS Used: 2252201984 (2.1 GB)
DFS Used%: 2.61%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 5 (5 total, 0 dead)

Name: 10.0.0.11:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 309166080 (294.84 MB)
Non DFS Used: 3851579392 (3.59 GB)
DFS Remaining: 16979591168(15.81 GB)
DFS Used%: 1.46%
DFS Remaining%: 80.32%
Last contact: Fri Oct 04 11:30:31 EEST 2013


Name: 10.0.0.3:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 531652608 (507.02 MB)
Non DFS Used: 3852300288 (3.59 GB)
DFS Remaining: 16756383744(15.61 GB)
DFS Used%: 2.51%
DFS Remaining%: 79.26%
Last contact: Fri Oct 04 11:30:32 EEST 2013


Name: 10.0.0.5:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 502910976 (479.61 MB)
Non DFS Used: 3853029376 (3.59 GB)
DFS Remaining: 16784396288(15.63 GB)
DFS Used%: 2.38%
DFS Remaining%: 79.4%
Last contact: Fri Oct 04 11:30:32 EEST 2013


Name: 10.0.0.4:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 421974016 (402.43 MB)
Non DFS Used: 3852365824 (3.59 GB)
DFS Remaining: 16865996800(15.71 GB)
DFS Used%: 2%
DFS Remaining%: 79.78%
Last contact: Fri Oct 04 11:30:29 EEST 2013


Name: 10.0.0.10:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 486498304 (463.96 MB)
Non DFS Used: 3851759616 (3.59 GB)
DFS Remaining: 16802078720(15.65 GB)
DFS Used%: 2.3%
DFS Remaining%: 79.48%
Last contact: Fri Oct 04 11:30:29 EEST 2013

我尝试停止YCSB，重新启动hbase master和重新启动YCSB，但不乏..这两个节点不满足任何请求!

由于存在许多日志和conf文件，因此我创建了一个zip文件，其中包含主服务器的日志和conf(hbase和hadoop)，运行正常的regionserver服务请求和一个Regionserver不服务请求。
https://dl.dropboxusercontent.com/u/13480502/hbase_hadoop_logs__conf.zip

先感谢您!!

Answer 1

我发现发生了什么事，并且与Hbase无关...我忘记了将新RS的主机名和IP添加到YCSB服务器VM(/ etc / hosts文件).... :-(