gpt4 book ai didi

hadoop - Hadoop/AWS弹性 map 会降低性能

转载 作者:行者123 更新时间:2023-12-02 20:13:38 24 4
gpt4 key购买 nike

我正在寻找一个球场,如果有人对此有经验...

是否有人对AWS的 map 速度降低有基准?

可以说我有1亿条记录,并且我正在使用hadoop流(一个php脚本)来映射,分组和减少(通过一些简单的php计算)。平均组将包含1-6条记录。

运行一堆小型实例或大型实例是否更好/更具成本效益?我意识到它被分解为一个实例中的节点,但是无论更大的节点是否具有更高的I / O,这意味着每个服务器每个节点更快(并且更具成本效益)?

同样在流媒体中,如何确定映射器与缩减器的比率?

最佳答案

我不知道您能否提供有意义的基准测试-有点像询问计算机程序的运行速度。如果不了解脚本,就无法说出程序运行的速度。

如果您是说,执行EMR作业的实例有多快,它们与您从AWS指定的基础实例的规格相同。

如果您想粗略了解EMR的性能不同:我想您可能会在CPU瓶颈之前遇到I / O瓶颈。

从理论上讲,这意味着您应该运行许多小型实例并要求机架多样化,以便从更多机器上获取更多I / O资源,而不是让它们竞争。在实践中,我发现更少,更高的I / O实例会更有效。但是,即使这种印象也并非总是如此-确实取决于区域的繁忙程度以及您的工作安排在哪里。

关于hadoop - Hadoop/AWS弹性 map 会降低性能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10199294/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com