linux - 在EC2上运行大数据集，担心存储

Question

我正在通过 EC2 运行一些序列分析。我希望我的输出文件超过 2 Tb。在我运行我的命令之前，我想确保我有足够的空间。我将我的实例类型更改为一种用于数据处理 d2.4xlarge。

我的问题:如果我正在运行我的命令，并且输出文件超过了 xvda 的存储容量，它会自动切换到 xvdf 吗？

希望这些信息有帮助:

lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0   18M  1 loop /snap/amazon-ssm-agent/
loop1     7:1    0 93.9M  1 loop /snap/core/9066
loop2     7:2    0   91M  1 loop /snap/core/6350
loop3     7:3    0   18M  1 loop /snap/amazon-ssm-agent/
xvda    202:0    0  4.9T  0 disk 
└─xvda1 202:1    0    2T  0 part /
xvdf    202:80   0  1.8T  0 disk 
xvdg    202:96   0  1.8T  0 disk 
xvdh    202:112  0  1.8T  0 disk 
xvdi    202:128  0  1.8T  0 disk 
xvdj    202:144  0  1.8T  0 disk 
xvdk    202:160  0  1.8T  0 disk 
xvdl    202:176  0  1.8T  0 disk 
xvdm    202:192  0  1.8T  0 disk 

您会看到 xvda1 与 xvda 不匹配，这是因为 EBS 的最大存储空间为 2tb(我需要更改其卷大小)

df
Filesystem      1K-blocks     Used  Available Use% Mounted on
udev             62832116        0   62832116   0% /dev
tmpfs            12570936      824   12570112   1% /run
/dev/xvda1     2081729452 45739112 2035973956   3% /
tmpfs            62854676        0   62854676   0% /dev/shm
tmpfs                5120        0       5120   0% /run/lock
tmpfs            62854676        0   62854676   0% /sys/fs/cgroup
/dev/loop0          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop1          96256    96256          0 100% /snap/core/
/dev/loop3          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop2          93184    93184          0 100% /snap/core/
tmpfs            12570932        0   12570932   0% /run/user/

谢谢你!!!!!

Answer 1

"If I am running my command, and the output file exceeds the storage capacity of xvda, will it automatically switch to xvdf"

不，您需要挂载 xvdf (您似乎还没有这样做)这将在您的文件系统中为其提供一个路径，然后您需要配置您的应用程序以在第一个位置空间不足时切换到该安装位置。

"that is because with EBS the max storage is 2tb"

AWS EBS 的官方功能列表 here , 指出最大卷大小为 16TB。

如果您需要文件系统中的单个卷超过 16TB，您可以考虑在 RAID 0 阵列中组合 EBS 卷，如文档 here 中所述。 .