gpt4 book ai didi

hadoop 日志没有完整的信息

转载 作者:可可西里 更新时间:2023-11-01 16:38:49 25 4
gpt4 key购买 nike

我正在使用 hadoop apache 2.7.1 集群,它由 4 个数据节点和两个名称节点组成,因为它具有高可用性

部署在centos 7上
并于 01-08-2017 开始工作

而且我们知道每个服务都会生成日志

以当前日志为例

hadoop-root-datanode-dn1.log 
hadoop-root-datanode-dn2.log

其中 hadoop_root 是用户 iam 登录

我的问题是:
在 dn1 日志中,我可以找到从 01-08-2017 到今天的信息但在 dn2 日志中没有所有完整的信息,因为它每天都被清空,所以它只有与今天相关的信息

是否有任何属性可以控制这种行为或者这是centos的问题
有什么帮助吗?

最佳答案

By default, the .log files are rotated daily by log4j. This is configurable with /etc/hadoop/conf/log4j.properties.

https://blog.cloudera.com/blog/2009/09/apache-hadoop-log-files-where-to-find-them-in-cdh-and-what-info-they-contain/

并不是说您正在运行 Cloudera 集群,但即使您这样做了,也不会删除这些文件。它们被滚动并重命名

哦,我建议不要以 root 身份运行守护进程。大多数 hadoop 安装指南明确要求您创建一个 hdfs 或 hadoop 用户

关于hadoop 日志没有完整的信息,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45896585/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com