python - GNU Parallel - 多个参数

Question

使用 GNU 并行，我尝试运行一个子采样脚本，该脚本输入两个文件并输出一个特定的子采样文件。我正在使用这个命令:

parallel -j+0 --eta python sub_sample_.2.py ::: file1 file2 ::: file3 file4 ::: file5 file6

但是命令行上没有预计到达时间，即:

Computer:jobs running/jobs completed/%of started jobs/Average seconds to complete
ETA: 0s Left 8 AVG:0.00s local:8/0/1005/0.0

此外，仅处理前四个文件，但不处理后两个:file5和file6。

Answer 1

parallel -j+0 --eta python sub_sample_.2.py ::: file1 file2 ::: file3 file4 ::: file5 file6

2*2*2 = 总共 8 个职位。

Computer:jobs running/jobs completed/%of started jobs/Average seconds to complete
ETA: 0s Left 8 AVG:0.00s local:8/0/1005/0.0

预计到达时间是根据已完成作业的运行时间计算的。这里还没有作业完成，因此没有预计到达时间。您还可以看到所有 8 个作业都在本地系统上运行，因此您可能有 8 个或更多核心。

Also only the first four files are processed, but not the last two: file5 and file6.

这样写我怀疑你可能不知道 multiple::: 的作用。运行 --dryrun 并查看这是否是您期望的运行内容。

我的猜测是，您真正想要运行的是(需要版本 20160422 或更高版本):

parallel --eta python sub_sample_.2.py ::: file1 file3 file5 :::+ file2 file4 file6

或者:

parallel --xapply --eta python sub_sample_.2.py ::: file1 file3 file5 ::: file2 file4 file6