gpt4 book ai didi

hadoop - 计算 reducer hadoop花费的时间

转载 作者:行者123 更新时间:2023-12-02 21:05:08 24 4
gpt4 key购买 nike

我正在单节点集群中的Hadoop 2.7.3中运行MapReduce作业。如何计算 map 花费的时间并减少这项工作的任务?

解决了
万一它帮助任何查看此问题或面临类似问题的人。
感谢@Shubham的回答和我做的一些研究:

  • 作业跟踪程序已在hadoop 2中删除。它已分为资源管理器和应用程序主数据库。
  • 要访问资源管理器,请在浏览器中输入URL“http://localhost:8088
  • 要访问作业历史服务器(以查看有关已完成的应用程序和作业的统计信息),请在浏览器中输入URL“http://localhost:19888

  • 尝试访问作业历史服务器时可能会遇到错误。它可能表明该应用程序没有历史记录。在这种情况下,请执行以下步骤:
  • 更改bashrc文件

  • 脚步:
    i. In your terminal, type "nano ~/.bashrc"
    ii. Now in this file, where the other hadoop variables are written add the line
    export HADOOP_CONFIG_DIR=/usr/local/hadoop/etc/hadoop
    iii. Exit out of nano and save the file.
    iv. Run the command "source ~/.bashrc"

    1.启 Action 业历史记录服务器

    脚步:
    i. Run the command in your terminal
    $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONFIG_DIR start historyserver
    ii. Then run the command
    jps
    You should be able to see the "JobHistoryServer" in the list
    iii. Now run the command
    netstat -ntlp | grep 19888

    最佳答案

    命中资源管理器的Web UI(http://rm_http_address_host:port/)。通常,Web端口是8088。为此,您可以单击http://resourcemanager_host:8088/
    在这里,您将找到处于各种状态(如已启动,正在运行,失败,已成功等)的所有应用程序的链接。
    单击每个应用程序的链接将为您提供有关该 yarn 作业的所有统计信息(例如容器数量(使用mapreduce时为映射器/还原器),使用的内存/ Vcor​​e,运行时间以及更多统计信息)。
    ResourceManager REST API公开了很多统计信息。 在这里找到他们https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

    关于hadoop - 计算 reducer hadoop花费的时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42164449/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com