gpt4 book ai didi

hadoop - hadoop tasktracker:为什么用户日志中缺少日志?

转载 作者:行者123 更新时间:2023-12-02 21:42:36 26 4
gpt4 key购买 nike

我正在使用hadoop1.2.1。我需要/ hadoop-installation-directory / logs / userlogs / job- / attemp- / stdout中的stdout文件。但是当我重新启动datanodes时,我的作业日志不在用户日志中。反正可以访问它们?
谢谢

最佳答案

清除日志文件有多种原因:

  • 默认情况下,每24小时都会清除一次,由'mapreduce.job.userlog.retain.hours'属性定义(对于第2代,第1代的mapred.userlog.retain.hours)
  • 按照默认log4j.properties中的定义每12小时清除一次
    hadoop.tasklog.taskid=null
    hadoop.tasklog.noKeepSplits=4
    hadoop.tasklog.totalLogFileSize=100
    hadoop.tasklog.purgeLogSplits=true
    hadoop.tasklog.logsRetainHours=12
    ^^

  • 因此,如果您具有这样的配置,则它将仅保留日志12个小时。

    关于hadoop - hadoop tasktracker:为什么用户日志中缺少日志?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27578663/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com