hadoop - 在hadoop单节点群集上添加EBS卷

Question

我已经在EC2云上创建了一个AWS Linux计算机，根目录为8 GB，然后部署了hadoop和spark，并在该计算机上创建了单节点集群。

当我打开hadoop的主页时，一切都很好。

Configured Capacity:    7.74 GB
DFS Used:   3.72 MB (0.05%)
Non DFS Used:   4.47 GB
DFS Remaining:  3.27 GB (42.23%)
Block Pool Used:    3.72 MB (0.05%)

到目前为止，一切都很好。现在，我想在此EC2实例上添加更多存储。因此，我已使用40GB的的 EBS块存储，并在其上创建了 ext4 文件系统，并将其安装到EC2实例的 / data 目录中。
使用 df -h 命令，我可以看到空间已全部装入并且正确可用。
`

Filesystem      Size  Used Avail Use% Mounted on
 udev            3.9G   12K  3.9G   1% /dev
tmpfs           799M  400K  799M   1% /run
/dev/xvda1      7.8G  4.1G  3.3G  56% /
none            4.0K     0  4.0K   0% /sys/fs/cgroup
none            5.0M     0  5.0M   0% /run/lock
none            3.9G     0  3.9G   0% /run/shm
none            100M     0  100M   0% /run/user
/dev/xvdb        40G   48M   38G   1% /data

但是在hadoop页面(http://*<myec2-ip>*:50050/)上，我仍然看到相同的7.74GB容量，但是看不到容量增加。

我什至尝试重新格式化hadoop文件系统，但这也无济于事。
bin / hadoop namenode-格式

如何在hadoop文件系统上添加此额外的存储？

Answer 1

您需要编辑hdfs-site.xml以在该新卷中安装目录以放置名称节点或数据节点数据。
dfs.datanode.data.dir-确定DFS数据节点应在本地文件系统上的哪个位置存储其块。如果这是逗号分隔的目录列表，则数据将存储在所有命名的目录中，通常在不同的设备上
dfs.namenode.name.dir-确定DFS名称节点在本地文件系统上应存储名称表(fsimage)的位置。如果这是用逗号分隔的目录列表，则将名称表复制到所有目录中，以实现冗余

然后，您需要重新启动各自的HDFS服务

尝试避免格式化namenode。您这样做会丢失所有HDFS数据