hadoop - EMRFS 是否使 S3 对外部客户端保持一致

Question

如果我在 HFDS 或本地文件系统中有一个文件，是否可以在启用 EMRFS 的情况下将其复制到 S3，立即关闭集群，并确保该文件可供外部读者列出和读取此复制操作完成后？还是 EMRFS 仅在为其启用的特定 EMR 集群内保持一致？通过 EMRFS 从 HDFS 将文件复制到 S3 会是什么样子？来自本地文件系统？

Answer 1

我在 AWS 开发人员论坛上问过同样的问题-- https://forums.aws.amazon.com/thread.jspa?threadID=257220&tstart=25 -- 这包含很多有值(value)的细节，它提供了比所有 EMRFS 文档组合 IMO 更好的 EMRFS 概述，但我将提供崩溃摘要的崩溃摘要:

1) 一致 View 是一项必须在 EMRFS 配置中明确启用的功能，否则您只有 S3 一致性保证。

2) EMRFS Consistent View 只在共享相同EMRFS配置的集群内生效--它对外部客户端正常访问S3没有影响

3) S3 提供的唯一真正的一致性保证是保证之前未写入的新文件的读取一致性，而不是列表一致性。因此，如果客户端专门通过它知道是新创建的路径请求文件，它总是会得到它，但它可能会或可能不会在列表操作中获得文件的路径，并且如果该文件以前存在于那里不能保证客户端将获得哪个版本的读取操作。