hadoop - Hadoop垃圾检查点是做什么用的？

Question

我不了解在Hadoop垃圾桶中创建检查点的目的，然后做了一个简单的测试。

我在core-site.xml中设置了10分钟的fs.trash.interval属性。

我删除了HDFS中的文件，并将其移至.Trash / Current。

我等待了超过10分钟，以检查“废纸rash”中的结果。

但是我看到它在大约7分钟后移到了checkpoint文件夹。



超过10分钟后，文件已在“垃圾箱”中永久删除。

1)我的第一个问题是此处检查点的目的是什么。

然后，我在core-site.xml中设置了3分钟的fs.trash.checkpoint.interval属性。

我删除了HDFS中的文件，大约3分钟后将其移至检查点文件夹。
大约10分钟后，垃圾桶也空了。
如果我使用命令“hdfs dfs -expunge”，则文件将立即移动到检查点文件夹。

2)我的第二个问题是文件最终将在10分钟后永久删除，那么设置'fs.trash.checkpoint.interval'的目的是什么？

Answer 1

检查点仅仅是一种不定期清理整个垃圾箱文件夹的方法。
fs.trash.interval是实际上删除文件的文件。
fs.trash.checkpoint.interval正在从Current移至检查点文件夹。

fs.trash.interval
Default: 0
Description: Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If trash is disabled server side then the client side configuration is checked. If trash is enabled on the server side then the value configured on the server is used and the client configuration value is ignored.

fs.trash.checkpoint.interval
Default: 0
Description: Number of minutes between trash checkpoints. Should be smaller or equal to fs.trash.interval. If zero, the value is set to the value of fs.trash.interval. Every time the checkpointer runs it creates a new checkpoint out of current and removes checkpoints created more than fs.trash.interval minutes ago