hadoop - 如何将本地Hadoop配置精确地模拟为GCP Dataproc

Question

Dataproc是GCP上的一种Apache-Hadoop事实。我需要在集群配置方面进行一些说明。假设，我使用本地Hadoop集群配置了1个namenode和n个数据节点。我是否需要在Dataproc上具有1个主节点和n个与之对应的工作节点。我还想利用Dataproc的自动缩放功能。
在将本地Hadoop基础架构迁移到GCP Dataproc时，是否需要遵循任何标准 list ？

Answer 1

不需要您的Dataproc集群与您的本地配置完全匹配:实际上，Dataproc的优点之一是您可以根据需要重新调整集群以匹配您的工作负载。

GCP有一个detailed guide可用于将本地Hadoop迁移到Dataproc。