hadoop - Cloudera Manager - HDFS 可用空间健康问题故障排除

Question

我有一个由两台主机配置的集群 -

我正在运行的作业似乎正在创建大量日志，并且我的一个 hdfs 数据节点显示严重的健康问题为 -

四件事:

1. 如何清理这些日志并腾出空间？从/var/log/hadoop-hdfs 手动删除它们是个好主意吗？

1. 如上/var/log/hadoop-hdfs 目录只有 610 MB hdfs 的空间在哪里被占用？

2. 如何配置日志文件以定期删除？

3. 我有 HDFS、Spark 和 YARN - MR2 服务已启动并正在运行，它们都在创建自己的日志。我也想清理那些。

谢谢!

Answer 1

深入研究 hdfs 之后 -

要获取哪个目录的大小，请执行:hadoop fs -du -h/user/

Spark 服务日志创建:

由 Spark 位置创建的日志被识别、手动删除并且集群恢复到健康状态 -

Spark on 在 HDFS 中的位置创建日志 -

/user/spark/applicationHistory

日志文件大小为 129GB。(已删除)

使用的命令 -(当 -rm 将文件移动到垃圾箱时，我们也需要从垃圾箱中 -rm 以正确清理它)

$ hadoop fs -rm /user/spark/applicationHistory/*

$ hadoop fs -rm -r  /user/cloudera/.Trash/Current