gpt4 book ai didi

hadoop - MapReduce 程序性能测试

转载 作者:可可西里 更新时间:2023-11-01 15:29:34 28 4
gpt4 key购买 nike

我们如何检查 mapreduce 程序中哪个 map 运行缓慢?在工作期间和完成工作后?

MapReduce性能测试需要检查哪些参数。

最佳答案

这个问题非常广泛,但仍试图在一定程度上解决..

1) 当作业正在运行时,您可以在 application master 中看到

2) job完成后可以在job history中看到

请参阅 map-reduce 的作业跟踪器和任务跟踪器文档。

性能测试参数是一个非常宽泛的术语。有一些默认的测试用例将随发行版一起发布

一般来说,我们可以使用上述跟踪器查看作业(包括 map 和 reduce 阶段)花费了多少时间以及每个 map 花费了多少时间。

除此之外,您还可以看到每个映射器的记录数(输入拆分)。以及下面示例屏幕截图中的各种其他参数 HisotoryAfterJobCompleted

监控作业后,我们可以得出结论,您可以对其进行微调。请参阅一些 tips

关于hadoop - MapReduce 程序性能测试,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37045669/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com