hadoop - HDFS平衡，如何平衡HDFS数据

Question

我们有 HDP版本-2.6.4 。在datanode机器上，我们可以看到hdfs数据不平衡。在某些磁盘上，我们有不同的大小

sdb 11G 
and 
sdd 17G


/dev/sdd 20G 3.0G 17G 15% /grid/sdd 
/dev/sdb 20G 11G 9.3G 53% /grid/sdb <-- Why disks are not balanced?

在google中搜索后，我发现以下CLI
(来自 https://community.hortonworks.com/questions/19694/help-with-exception-from-hdfs-balancer.html)

hdfs balancer -Ddfs.balancer.movedWinWidth=5400000 -Ddfs.balancer.moverThreads=1000 -Ddfs.balancer.dispatcherThreads=200 -Ddfs.datanode.balance.bandwidthPerSec=100000000 -Ddfs.balancer.max-size-to-move=10737418240 -threshold 20 1>/tmp/balancer-out.log 2>/tmp/balancer-debug.log

在我运行它之后，我们得到相同的hdfs大小

/dev/sdd 20G 3.0G 17G 15% /grid/sdd
/dev/sdb 20G 11G 9.3G 53% /grid/sdb


more /tmp/balancer-out.log Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved The cluster is balanced. Exiting... Mar 7, 2019 5:02:34 PM 0 0 B 0 B 0 B Mar 7, 2019 5:02:34 PM Balancing took 1.453 seconds

因此，实际上我们看不到hdfs的磁盘平衡方面的任何区别。

如何平衡hdfs数据，以便所有磁盘的大小都相同？

Answer 1

我不是这方面的专家，我才刚刚开始研究它。我怀疑您应该使用hdfs diskbalancer而非平衡器。