gpt4 book ai didi

linux - 删除大小为 0 的文件的最快方法

转载 作者:塔克拉玛干 更新时间:2023-11-03 01:15:08 24 4
gpt4 key购买 nike

我正在寻找使用 bash 删除大小为 0 的文件的最快方法。

我有数十万个大小为 0 的文件(连同有值(value)的输出)生成到单个输出目录中,这些文件是通过 GNU 并行运行的 grep 命令生成的。当 grep 找到匹配项时,输出文件包含信息。当 grep 找不到匹配项时,输出文件为空。

parallel -j $numcores "grepfunction {} > output_{}.fastq" ::: "${input_array[@]}"

我正在使用以下方法删除空文件,但我想找到一个更快的选项。在搜索大多数解决方案时,我发现使用类似的基于查找的命令,这些命令的工作速度相似。

find results2/ -size 0 -delete

正如评论中所建议的,我也尝试了以下

find ./results2 -size 0 -print0 |xargs -0 rm --

它在质量上很慢,但我会进行基准测试并报告回来。

非常感谢任何建议。

最佳答案

(这应该是评论,但作为评论太难阅读了)。

如果您要再次运行这些作业,您可以将其作为文件生成的一部分:

parallel -j $numcores "grepfunction {} > output_{}.fastq ||
rm output_{}.fastq" ::: "${input_array[@]}"

我假设 grep 函数在匹配时返回真(就像 grep 那样)。

关于linux - 删除大小为 0 的文件的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53400816/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com