linux - bash:在压缩其他文件的同时发送压缩文件

Question

我有一个简单的 bash 脚本，可以通过非常慢的网络下载大量日志文件。我可以压缩远程端的日志。基本上是:

ssh: compress whole directory
scp: download archive
ssh: rm archive

使用 lzma 可以很好地压缩，但压缩整个目录很慢。有没有什么工具或简单的方法可以编写脚本，使我可以压缩单个文件(或一堆文件)并在其他文件/ block 仍在压缩的同时开始下载它们？我正在考虑在后台为每个文件启动压缩，并在循环下载/rsync 文件中使用正确的扩展名。但是我不知道如何检查压缩过程是否完成了它的工作

Answer 1

最简单的方法是使用 ssh -C 在传输过程中压缩它们。但是，如果您有大量小文件，最好使用 tar zcf 或 tar jcf 一次压缩和 gzip/bzip 整个目录。您可能能够在文件仍在写入时开始下载文件，但我还没有尝试过。