hadoop - 为什么 Hadoop 作业在云中(使用多节点集群)比在普通 PC 上慢？

Question

我将 Cloud Dataproc 用作我的研究的云服务。在此平台(云)上运行 Hadoop 和 spark 作业比在较低容量的虚拟机上运行相同的作业要慢一些。我在云上的 3 节点集群(每个集群有 7.5GB RAM 和 50GB 磁盘)上运行我的 Hadoop 作业需要 4 分钟 49 秒，而同样的作业在具有 3GB RAM 和 27GB 磁盘的单节点虚拟机(我的电脑)上需要 3 分钟 20 秒.为什么在多节点集群的云中结果比在普通 pc 上慢？

Answer 1

首先:在不知道完整配置和您正在运行的作业类型的情况下不容易回答。

可能的原因是:

1. 配置错误

http://HOSTNAME:8080打开 ressourcemanager webapp 并比较可用的 vcores 和内存

1. 工作类型

作业在并行运行时会增加更多开销，因此速度较慢

1. 硬件选定的虚拟硬件比本地硬件慢。通过低磁盘 io 和网络开销

我会说它类似于 1. 和 2.

要获得更详细的答案，请告诉我:

• 工作的规模和类型以及您的工作方式。
• hadoop配置
• 云架构

br