amazon-web-services - 在没有EMR的AWS上运行HDFS集群

Question

我想在AWS上运行HDFS集群，可以在其中存储需要使用在EC2实例上运行的自定义应用程序处理的数据。 AWS EMR是我可以找到的在AWS上创建HDFS集群的唯一方法。 Web上有tutorials可用于使用EC2实例创建HDFS集群。但是，如果我使用EC2实例，则我有在关闭实例时丢失数据的风险。

我需要的是:
1.一个HDFS群集，可以在不使用时将其关闭。
2.关闭时，数据应保持不变。

有一个解决方案，说我可以在每次启动EMR集群时将数据保存在S3存储桶中并进行加载。但是，这是重复的，而且开销很大，尤其是在数据量很大的情况下。

在GCP中，我使用了满足以上两个条件的DataProc集群。关闭群集至少可以节省VM的成本，而我仅在不使用HDFS群集时才为存储付费。我想知道AWS中是否有一些类似的方法。

Answer 1

您可以利用EFS flex 文件系统将所有数据保存到s3，并且在您重新启动ec2实例时将可以使用它。

另外，如果需要，您可以与多个EC2实例共享此EFS。因此，在您的用例中，将EFS创建为HDFS是一个不错的选择。

更多详细信息here。