hadoop - HDFS 空间分配(大小/已用/可用)

Question

我阅读了一些引用资料，但我仍然无法弄清楚 HDFS 系统上可用于存储文件的基本总大小是如何确定的。

如果我有一个运行 HDFS 服务的 1TB 磁盘，当我向其中添加文件时，dfs 部分会自然地“增长”，还是默认情况下磁盘的一部分分配给 DFS？

Answer 1

是的，随着文件的添加，HDFS 的磁盘使用量会增长。默认情况下，Datanodes 将尝试使用其存储目录 dfs.datanode.data.dir 中的所有可用空间。

Datanode的配置容量是

Total Storage Capacity - Reserved Storage 

Reserved Storage 默认为 0B。如果您希望在存储上保留一些空间供非 HDFS 使用，请在数据节点的 hdfs-site.xml 中添加此属性

<property>
  <name>dfs.datanode.du.reserved</name>
  <value>107374182400</value> <!-- 100 GB reserved -->
  <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
</property>