amazon-web-services - 亚马逊电子病历 : do i need core nodes if I am planning to use EMRFS

Question

我正在浏览在线文档，发现核心节点和任务节点之间存在以下差异。

1. 核心节点有 hdfs，而任务节点没有 HDFS。

由于上述原因，AWS 建议根据负载扩展核心节点不是一个好主意，因为 hdfs 重新平衡可能需要时间，并且应该只重新平衡任务节点。

但是，如果我计划使用 EMRFS，是否需要核心节点？如果我打算从 s3 访问数据，那么在这种情况下 HDFS 的用户是什么？

Answer 1

您至少需要 1 个核心节点。

如果你想在完成写入本地 HDFS 的作业后使用 s3distcp，那么你需要更多这样的核心节点。