hadoop - 释放空间 Cloudera-QuickStart VM- Centos

Question

我运行了一项 MR 工作，在测试时占用了一些空间。运行 Job 已经占用了将近 20 GB 的空间。我已经删除了一些配置单元表和 hdfs 文件。但是，我仍然遇到错误，例如未通过包裹目录阈值。

是否有任何 Cloudera Manager 命令可以清理所有节点上未使用的空间？还是我应该使用其他方法来腾出可用空间？

Container [pid=10156,containerID=container_1511328141399_0037_01_000004] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 23.1 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1511328141399_0037_01_000004 :

Answer 1

首先，您的错误与内存有关，而不是磁盘空间。您需要 8GB 的​​ RAM 才能启动 Cloudera Express 桌面应用程序，除非您以其他方式强制它启动

删除 HDFS 文件仍会将它们保留在用户主文件夹中的垃圾箱位置。

Hue 有一个清空垃圾箱的选项，但命令行选项是

hdfs dfs -expunge

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html#expunge

请注意，您还可以将 VirtualBox 硬盘驱动器操作得更大，这超出了快速入门 VM 的范围。不过，尚不清楚您是否使用的是 Docker 版本