hadoop - 如何从运行的Hadoop集群中删除磁盘？

Question

我安装了HDP 2.3的6节点Hadoop集群。

节点包含2个驱动器，一个容量为50 TB，另一个容量为2 TB，现在2 TB的磁盘已满。但是我想从所有节点上删除该磁盘，并且只想为Hadoop使用50 TB磁盘。

问题

我可以安全地删除数据磁盘，而不会导致群集上的丢失/损坏的块。

更新

安装命令的输出如下

/dev/sda6 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda3 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/tmp on /tmp type none (rw,bind)
/var/tmp on /var/tmp type none (rw,bind)
/home on /home type none (rw,bind)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/dev/sdc1 on /data1 type xfs (rw)
/dev/sdb1 on /data type xfs (rw)

属性dfs.datanode.data.dir的值为/ data / hadoop / hdfs / data，/ data1 / hadoop / hdfs / data

Answer 1

您不能使用2 TB驱动器，因为NameNode元数据可能会损坏。 Namenode将等待来自该节点的块报告，并且如果未报告块报告形式的数据块，将接近退出安全模式。

一种解决方法是，您可以将所有数据复制到50 TB驱动器中并格式化Namenode。您不能在数据敏感的情况下执行此操作。