hadoop - 测试运行后 HBASE DB 大小增加

Question

我使用的是 HDFS+HBASE。我创建了一个数据库并运行了 2 小时的测试。我想在测试运行后检查数据库大小的增加。我尝试使用以下方法阅读:

hadoop dfsadmin -report and
hadoop fs -dus /hbase.

还尝试使用

检查磁盘大小

du -sk /HADOOP.

观察运行测试后，大小显示减少而不是增加。

正在使用的版本:Hadoop 1.0.0、HBase 0.90.5、ZooKeeper 3.3.4。
列族上的压缩是无。

请帮助获得正确的过程来计算由于测试而增加的数据库大小。

Answer 1

Lakshmi，650K 对于 HBase/Hadoop 来说不算什么。默认起始 block 大小为 128M(如果我没有错过一些重大更改)，因此在创建表后您应该看不到任何重要信息。实际上你的表(HStore 文件)应该位于 /hbase/<table-name> 下区域内容在/hbase/<table-name>/<region>下(您可以通过 HBase web UI 查看区域信息)。

如果真的需要查东西，至少加载128M以上的数据。我通常做至少 4G DB 来测试区域分配。当前默认(从 HBase 0.94 开始)区域拆分策略从填充的第一个 128M 开始拆分区域，然后它发生的次数越来越少。