gpt4 book ai didi

hadoop - hdfs 核心节点磁盘已满,调查?

转载 作者:可可西里 更新时间:2023-11-01 14:58:01 32 4
gpt4 key购买 nike

我们在 aws 上的 hdfs 之上有一个 spark 集群,具有 2 个核心节点和 1 个主节点。最近我发现所有作业都失败了,因为两个核心节点上的磁盘都已满。经过进一步调查发现:

/data/var/lib/hadoop/dfs/current/BP-*/current/finalized/subdir*/* 已满。我能够看到数据,但我想弄清楚是哪个作业实际创建了这些文件,这些文件占用了近 600-700GB 的空间,因此我们可以防止将来发生这种情况。有人可以告诉我在哪里/如何开始调查吗?

最佳答案

检查 4040 上作业的用户界面....您可能会找到一些东西。否则,请告诉更多有关工作、数据和环境的详细信息。

关于hadoop - hdfs 核心节点磁盘已满,调查?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33135911/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com