hadoop - HDFS +不同磁盘大小的节点+数据量选择策略

Question

可以说我们有以下集群，其中包含以下详细信息

10个节点的HDFS群集，其中4个具有磁盘大小-10 TB，6个具有磁盘大小-1TB

在Hadoop-2.6，cloudera-5.8上，如果数据节点计算机上的磁盘大小不同，我们可以将默认值从循环更改为可用空间

例

查看dfs.datanode.fsdataset.volume.choosing.policy。默认情况下，此选项设置为循环，但是由于您具有非对称磁盘设置，因此应将其更改为可用空间。



由于我们拥有hortonwoks HDP集群版本2.6.5，

我们正在寻找相同的能力

所以我们搜索ambari HDFS-> config
但是我们找不到关于round-robin / available space.的配置

剂量HDP 2.6.5 ambari集群可以提供此功能吗？

我们的目标是平衡所有磁盘上的数据，考虑到某些磁盘较小，而另一些磁盘较小

Answer 1

我不熟悉任何此类平衡规则或属性，但是您可以在Ambari配置中应用节点标签，以便您的数据节点将使用不同的配置(例如数据节点的安装点)加载。

我完成重新平衡的唯一方法是通过HDFS重新平衡CLI

您还可以尝试将dfs.datanode.fsdataset.volume.choosing.policy属性放入自定义hdfs-site.xml部分，但是根据我发现的Cloudera论坛，默认为Round Robin，不建议使用可用空间

如果您仍然要将其设置为可用空间属性，则为org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy