linux - 一个目录(Linux)中超过40百万个文件

Question

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。












想改善这个问题吗？更新问题，以便将其作为 on-topic用于堆栈溢出。

2年前关闭。



Improve this question




在我们的Datalake(Hadoop / Mapr / Redhat)中，我们有一个目录，其中包含超过40M的文件。我们不能运行ls命令。

还有另一种查看此文件夹内容的方法吗？
我如何不扫描就清除旧文件？

最佳答案

这就是为什么在一个目录中存储那么多文件是个坏主意的原因。至少绝对应该基于哈希将它们划分为随机目录名称，每个级别最多具有〜1000个条目。

就是说，find工具可能能够处理它，并且它具有-delete选项，用于处理满足某些条件的文件，例如:

 find /crazy-big-directory -mtime 4 -delete

这将删除修改时间超过四天的所有文件。

As always test, test, and test again before arming and weaponizing your `find` command with the -delete option. MAKE BACKUPS OF ANY MISSION CRITICAL DATA. find will delete your entire drive if you tell it to, it won't even ask if you're sure.

关于linux - 一个目录(Linux)中超过40百万个文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47227986/

上一篇：java - 如何以编程方式为 hadoop *-site.xml 设置目录

下一篇：java - 使用 MapReduce 的倒排索引

相关文章：

hadoop - 将数据从 BigQuery 表加载到 Dataproc 集群时出错

java - getstrings方法hadoop中的空指针异常

c - 先进先出服务器程序

linux - 如何使用 awk、perl 或 sed 从 LiveHTTPHeaders 输出中删除响应？

linux - ubuntu awk 如何获取最后一个用户和时间数据？

hadoop - OSX 上 Hortonworks 沙盒上的 Spring XD

Linux 下的 XML 解析

android - 如何开发android固件？

Hadoop PIG Max of Tuple

hadoop - 自定义分区程序 : N number of keys to N different files

Answer 1

这就是为什么在一个目录中存储那么多文件是个坏主意的原因。至少绝对应该基于哈希将它们划分为随机目录名称，每个级别最多具有〜1000个条目。

就是说，find工具可能能够处理它，并且它具有-delete选项，用于处理满足某些条件的文件，例如:

 find /crazy-big-directory -mtime 4 -delete

这将删除修改时间超过四天的所有文件。

As always test, test, and test again before arming and weaponizing your `find` command with the -delete option. MAKE BACKUPS OF ANY MISSION CRITICAL DATA. find will delete your entire drive if you tell it to, it won't even ask if you're sure.