amazon-web-services - 我是否充分利用了我的 EMR 集群？

Question

总实例数:我创建了一个总共有 11 个节点的 EMR(1 个主实例，10 个核心实例)。

工作提交: spark-submit myApplication.py

容器图:接下来，我有这些图，它们指的是“容器”，我并不完全了解 EMR 上下文中的容器，所以它告诉我的内容并不明显:

实际运行的执行程序:然后我在我的 spark 历史用户界面中得到了这个，这表明我只创建了 4 个执行程序。

动态分配:然后我有 spark.dynamicAllocation.enabled=True我可以在我的环境详细信息中看到这一点。

执行器内存:此外，默认执行程序内存在 5120M .

执行人:接下来，我有我的 executors 选项卡，显示我有看起来像 3 个活跃和 1 个死的 executor:

因此，从表面上看，在我看来，我没有使用所有节点或可用内存。

我怎么知道我是否使用了所有可用的资源？

如果我没有充分利用所有可用资源，我该如何改变我正在做的事情，以便充分利用可用资源？

Answer 1

查看集群的每个节点正在使用多少资源的另一种方法是使用 Ganglia 的 Web 工具。 .

这发布在主节点上，并将显示每个节点的资源使用情况图。如果您在创建集群时没有启用 Ganglia 作为 EMR 集群上可用的工具之一，则会出现问题。

但是，一旦启用，您就可以转到网页并查看每个节点的使用量。