linux - 如何在不创建新文件的情况下合并大量文件

Question

我正在尝试合并大量文件，总大小为 75Gb。如果我使用，例如

~$ cat * > out.merge


这两个文件的大小是150Gb，我的硬盘没有这样的空间。那么如何避免数据重复呢？

提前致谢...

Answer 1

您可以尝试cat每个文件并立即将其删除

for f in ./*; do cat "$f" && rm "$f"; done > another_dir/out.merge

虽然这仍然会为每个文件生成一个新的 cat。