linux - Hadoop HDFS : DateNode directory on system partition?

Question

我们用这种方式设置的 Hadoop 集群空间不足:

• 1x 1TB HDD/<- Ubuntu 系统分区
• 3 个 1.5TB HDD/data1/data2/data3 <- HDFS 数据卷

系统分区几乎不用(97%空闲)，不会用于与hadoop无关的任务。

将系统分区作为 HDFS 数据目录添加到 DataNode 配置中是否安全？

我担心 Hadoop 会填满分区并使系统无法使用。

最好的方法可能是设置单独的 lvm 卷或重新分区磁盘。但我会避免走这条路。

hadoop 是否遵守 unix 配额？例如。如果我从系统分区添加一个目录并通过配额限制 hadoop 用户只能使用例如0.5TB 会有帮助吗？

Answer 1

是的，Hadoop 使用通用的文件写入 API 来写入 block 数据，并且会遵守 Unix 级别的配额。此外，还有配置属性 dfs.datanode.du.reserved，它允许您为 DataNode 不会考虑写入的每个卷(应用于所有卷)设置一个保留空间。

但是，允许写入操作系统挂载通常是不好的做法。如果您打算最终寻找更多的存储空间(假设您已经达到极限)，最好再购买一些磁盘并将它们安装在 DataNode 上。