hadoop - Hbase- 即使删除列族后 Hadoop DFS 大小也没有减少

Question

我们在 EC2 上有一个带有 6 个区域服务器的小型 Hbase 集群。最近我们发现其中一个列族中的数据对我们来说真的没有那么有用，因此决定放弃它。这个特定的列族占用了超过 50% 的磁盘空间。我们更改了表，删除了列族并运行了主要压缩。我们还对“-ROOT-”和“.META”进行了主要压缩。表。但是 DFS 文件总大小仍然没有减少？我们在这里错过了什么吗？任何帮助/指点将不胜感激。

问候。

Answer 1

只是添加另一件事来检查 - 至少在 Hbase 0.90.4 中，删除表会从 HDFS 中删除文件，但 .logs 目录的内容不一定。

例如，运行 hadoop fs -du/yourHbaseDirInDFS，您将看到 .logs 目录中仍然有一大块数据。在重新启动 HBase 集群之前，这似乎不会消失。或者，我想您可以手动删除日志文件，但对我来说，让 hbase 执行它似乎更好。