linux - AWS EMR 集群中的磁盘空间问题

Question

我们在 AWS 中配置了 11 个节点(1 个主节点 + 10 个核心)EMR 集群。我们为每个节点选择了 100 GB 的磁盘空间。

配置集群时，EMR 自动仅向根分区 (/dev/xvda1) 分配了 10GB。几天后根分区磁盘空间变满，因此我们无法运行任何作业或使用 yum 命令安装 git 等基本软件。

[hadoop@<<ip address>> ~]$ df -BG
Filesystem     1G-blocks  Used Available Use% Mounted on
devtmpfs             79G    1G       79G   1% /dev
tmpfs                79G    0G       79G   0% /dev/shm
/dev/xvda1           10G    10G       0G  100% /
/dev/xvdb1            5G    1G        5G   4% /emr
/dev/xvdb2           95G   12G       84G  12% /mnt
/dev/xvdf            99G   12G       83G  12% /data

能否请您帮助我们，如何解决这个问题？

1. 如何将根分区(/dev/xvda1)磁盘空间增加到30GB？
2. 默认情况下，所有使用 yum 或 rpm 的安装都进入根分区 (/dev/xvda1)。如何绕过安装到根分区(/dev/xvda1)的软件？
3. 无论采用何种解决方案，都不应干扰现有的 EMR 安装。

非常感谢您的帮助。

Answer 1

最近遇到了同样的问题。找到相应的 ec2 实例并在描述选项卡中找到并单击链接根设备。它指向一个 EBS Id，单击它。在操作中单击修改音量。请求所需的总空间后。您可能必须另外运行“growpart”等命令，让操作系统适应新的大小。