gpt4 book ai didi

hadoop - 如何在不重新启动Hadoop服务的情况下清除 “Reserved Space for Replicas”

转载 作者:行者123 更新时间:2023-12-02 19:13:00 33 4
gpt4 key购买 nike

如何找到为什么“副本保留空间”不断增加的原因,以及如何限制此类缓存的空间?我们发现“为副本保留的保留空间”超过了非DFS使用的空间(上个月)。但是我们没有找到原因:(

我们知道如何计算“非DFS”,但是“为副本保留的空间”显示的空间大小与“非DFS”的实际占用空间不符。例如,我们有6 TB的卷:

  • DFS使用的”占用4 TB
  • 可用空间”的容量为2 TB(此信息通过“ df -h ”获取)
  • 非DFS ”占用2 TB(为什么?如果“ df -h ”表明我们有2 TB可用
    空格)

  • 当前要释放为这种类型的缓存分配的空间(“为副本保留的空间”),我们需要重新启动datanode服务。但是我们认为这不是解决方案!

    我们使用 HDP v3.0.1 HDFS v3.1 Oracle JDK 8u181

    最佳答案

    对于那些面临此类问题的人。首先,您应该了解问题的性质。为此,请阅读以下问题的说明:

  • https://issues.apache.org/jira/browse/HDFS-8072
  • https://issues.apache.org/jira/browse/HDFS-9530
  • https://issues.apache.org/jira/browse/HDFS-6489

  • 以下链接对于了解什么是块副本非常有用:
  • https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/
  • https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/

  • 解决方案
  • 查找在写或追加过程中经常断开与Hadoop连接的错误软件
  • 尝试更改复制策略(风险)
  • 将Hadoop更新到最新版本

  • 如果不重新启动Hadoop服务,您将无法重置“副本的保留空间”!

    关于hadoop - 如何在不重新启动Hadoop服务的情况下清除 “Reserved Space for Replicas”,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62008531/

    33 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com