amazon-web-services - 在 EMR 中持久化、挂载和共享卷

Question

AWS 是否提供满足以下标准的任何存储解决方案？

1. 可以作为操作系统目录安装在 EMR 集群的主节点中，例如/mnt
2. 如果集群被终止或删除，将会比 EMR 集群更长久
3. 可以被多个 EC2 实例同时访问(无论是否在 EMR 中)

在我看来，NFS -like 卷应该满足所有三个，但我不知道 EBS、EFS 和/或 EMRFS 是否可以那样使用。至少我正在寻找能给我 (1) 和 (2) 的东西

---

背景:EBS

在上述问题的背景下，我查看了 EBS，但我发现了 conflicting information关于这个话题。

• EMR 文档说 EBS 卷在 EMR 中是短暂的:

  Amazon EBS works differently within Amazon EMR than it does with regular Amazon EC2 instances. Amazon EBS volumes attached to EMR clusters are ephemeral: the volumes are deleted upon cluster and instance termination (for example, when shrinking instance groups), so it’s important that you not expect data to persist

• 同时，我在 EBS 中看到一个名为 “终止时删除” 的选项，该选项可以设置为 False，请参见下面的屏幕截图。

Answer 1

EFS 是您正在寻找的服务。您可以将其安装在同一区域的多个可用区中运行的 EC2 节点上。

EC2 实例使用标准操作系统挂载命令，通过 NFSv4 协议(protocol)挂载 Amazon EFS 文件系统。

您还可以通过引导脚本将 EFS 安装在 EMR 的每个节点上。

它将满足您的所有三个标准。