azure - 表删除时 HDFS 内存不会删除 HIVE

Question

您好，我对 HIVE 和 HDFS 比较陌生，所以如果我的措辞不正确，请提前道歉。我使用 Microsoft Azure 创建虚拟机。然后我使用 putty 和 Ambari Sandbox 登录。

在 Ambari 中，我使用 HIVE，一切正常，但我在内存分配方面遇到了重大问题。当我将表放入 Hive 中时，我将进入“Hive View ”并从垃圾文件夹中删除该表。然而，这并没有释放 HDFS 内的任何内存。

该表现已从我的 HIVE 数据库和垃圾文件夹中消失，但没有释放任何内存。

我应该从其他地方删除表格吗？

提前致谢。

Answer 1

根据你的描述，正如@DuduMarkovitz所说，我也不知道你所说的HDFS内存是什么，但我认为你想说的是HDFS上的表数据文件。

根据我的经验，我认为您在 Hive 中删除的表是外部表，而不是内部表。您可以从 Hive 官方文档 External Tables 获取以下功能.

External Tables The EXTERNAL keyword lets you create a table and provide a LOCATION so that Hive does not use a default location for this table. This comes in handy if you already have data generated. When dropping an EXTERNAL table, data in the table is NOT deleted from the file system.

内部表和外部表的区别，可以引用here .

所以如果删除外部表后想从HDFS回收外部表数据，需要使用下面的命令让HDFS手动删除。

hadoop fs -rm -f -r <your-hdfs-path-url>/apps/hive/warehouse/<database name>/<table-name>

希望有帮助。