gpt4 book ai didi

hadoop - 在hadoop中,如何分别验证每个从节点上运行的map任务数?

转载 作者:可可西里 更新时间:2023-11-01 16:34:32 25 4
gpt4 key购买 nike

我有一个 Hadoop 集群,头节点作为主节点,其他 7 个节点配置为从节点,每个节点有 8 个内核和 8 GB 内存。我正在尝试改变参数“mapred.tasktracker.map.tasks.maximum”和从属配置文件中的从属数量。现在,如果我的程序必须运行 40 个任务,我能否在某个日志文件或某处查看每个单独的从属节点上运行了多少个任务?基本上,我正在寻找不同节点之间的 Map 任务分布。

最佳答案

执行此操作的最简单方法是使用 Hadoop 系统附带的 Web 界面。

在您的网络浏览器中,输入:jobtrack-machine-hostname:50030 例如:localhost:50030

你会得到你想要的。

关于hadoop - 在hadoop中,如何分别验证每个从节点上运行的map任务数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10374894/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com