linux - 从远程服务器并行复制小文件

Question

我必须从本地机器上的远程服务器复制大量文件(大约 2000 个文件，每个文件大小大约 5MB)，所以我通常在本地机器终端上运行以下命令来复制文件:

scp goldy@machineA:/process/snap/20180418/* /data/files/

有没有办法使用 gnu-parallel 或其他任何方法从远程服务器并行复制这些文件？我的意思是并行复制 5 个文件，而不是一个一个地执行所有操作。

注意:下面是我在远程服务器上的文件名。

abc_proc_1_log.data
abc_proc_2_log.data
abc_proc_3_log.data
abc_proc_4_log.data
...
abc_proc_2000_log.data

Answer 1

ssh goldy@machineA 'ls -1 /process/snap/20180418/*' \
| parallel -j5 'scp goldy@machineA:{} /data/files/{}'

---

• ssh goldy@machineA 'ls -1/process/snap/20180418/*' - 预先从远程机器获取文件名列表
• parallel -j5 ... - 并行运行最多 5 个作业