gpt4 book ai didi

java - 我如何知道映射器(或化简器)是否在Hadoop中并行运行?

转载 作者:行者123 更新时间:2023-12-02 21:39:48 24 4
gpt4 key购买 nike

我目前正在具有8个从属节点的Hadoop-2.3.0集群上运行一些MapReduce作业,但是这些作业的执行时间比预期的要长。

如何测试map(或reduce)任务是否并行运行?

哪些属性需要在配置文件中进行修改,以使Mappers(在本例中为8个)并行运行。

最佳答案

您应该 checkin Hadoop群集Web界面。

转到跟踪您的工作状态的网址,找到看起来像这样的一行:

15/04/11 17:29:07 INFO mapreduce.Job:跟踪工作的网址:http://hadoopsrv:60540/proxy/application_1428349332728_0303/

该网页显示作业状态(成功/失败...),每个任务完成的时间,映射/ reduce task 的数量及其状态,日志等。

关于java - 我如何知道映射器(或化简器)是否在Hadoop中并行运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29577898/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com