amazon-web-services - 重新创建EMR群集后仍保持HDFS状态

Question

重新创建emr群集后，是否可以将HDFS存储的状态持久化？以我的经验，本地存储的所有文件都丢失了。

使用挂载的卷(例如EFS)并将EMR群集挂载到该文件挂载是否是一种选择？
例如:

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///mnt/my/efs/location/</value>
  </property> 

寻找一种方法来选择删除群集后群集上次中断的位置。任何帮助，将不胜感激。

Answer 1

EMR群集将本地存储和EC2实例的已安装EBS用于HDFS磁盘区域(您可以检查可用的磁盘空间量，HDFS或多或少是在EMR群集节点上安装的磁盘量)。据我所知，使用EFS是不可行的，因为在创建EMR群集时，不能选择使用EFS和附加安全网关的IAM权限。

我们可以使用S3DistCp (s3-dist-cp)从HDFS复制到S3。或坚持使用EMRFS而不是HDFS。