Hadoop:指定 HDFS 的最大大小/容量

Question

我正在运行单节点 Hadoop 部署。我知道我的应用程序需要多少数据，我可以设置(和重新设置)HDFS 使用的最大容量吗？

我已经尝试了以下方法，但似乎无法实现。

• 检查 hdfs-site.xml 和 core-site.xml 的默认值
• 尝试了以下内容

hadoop namenode -format

hdfs dfsadmin -setSpaceQuota 2g /

hdfs dfsadmin -report #still shows the old capacity

编辑:只想添加现有容量，我的名称节点以安全模式出现。所以我不能做像 -format, -rm 这样的操作，因为我可以做只读操作。我可以接受丢失所有数据，我只是想缩小现有的 HDFS 卷。

Answer 1

我认为 -report 命令没有显示磁盘/空间配额。结果仅显示 hdfs 文件系统有多少磁盘空间可用于操作系统限制(所有节点一起)。

我正在使用 hadoop 2.3.0。

尝试在你的 hadoop box 上做以下事情:

hdfs dfsadmin -setSpaceQuota 200g /

然后你可以通过使用

获得/的配额

hdfs dfs -count -q /
9223372036854775807 9223372036854775791    214748364800    214687352772           11            5           30506298 /

如果您使用清除配额

hdfs dfsadmin -clrSpaceQuota /

您将再次获得磁盘空间的无限制(无限):

hdfs dfs -count -q /
9223372036854775807 9223372036854775791            none             inf           11            5           30506298 /

也许这就是你想看到的!？

问候

马丁