gpt4 book ai didi

hadoop - 如何自动化 Hadoop 垃圾清理

转载 作者:可可西里 更新时间:2023-11-01 14:22:31 27 4
gpt4 key购买 nike

我可以通过运行 hadoop fs -expunge 清除用户文件夹下的垃圾这会删除早于 fs.trash.interval 值的文件。是否有自动删除以恢复磁盘空间的方法?

我在运行 expunge 时也看到了以下输出

[cloudera@localhost conf]$ hadoop fs -expunge
14/07/17 15:43:54 信息 fs.TrashPolicyDefault:名称节点垃圾配置:删除间隔 = 1 分钟,清空间隔 = 0 分钟。

emptier 间隔为 0,这表明自动清理已关闭。这个值在哪里配置?

最佳答案

The code建议将其称为 fs.trash.interval

编辑:抱歉,我误解了这个问题。

更空的实现本身是 here ,我们可以看到相关常量似乎是 FS_TRASH_CHECKPOINT_INTERVAL_KEY

寻找 here显示该 key 是 fs.trash.checkpoint.interval

编辑: 终于找到了 xml conf 条目 here .

关于hadoop - 如何自动化 Hadoop 垃圾清理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24814931/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com