gnu-parallel - GNU 使用 --round-robin 并行输出到标准输出

Question

我正在尝试使用 GNU Parallel 来帮助我处理一些我不想在本地保存的远程文件。

我的命令看起来有点像这样:

python list_files.py | \
  parallel -j5 'aws s3 cp s3://s3-bucket/{} -' | \
    parallel -j5 --round --pipe -l 5000 "python process_and_print.py"

process_and_print.py 打印一些输入行的输出，但该输出并没有像我预期的那样立即到达标准输出，而是我只在过程完成后才看到输出。如果我删除 --round 参数，一切都会按预期工作。

所有这些数据都保存在哪里？我有没有办法将它逐行打印到标准输出，而无需缓冲？

Answer 1

Where does all that data get saved?

GNU Parallel 的所有缓冲输出都缓冲在 $TMPDIR/--tmpdir 中的临时文件中，默认为 /tmp。您看不到这些文件，因为如果 GNU Parallel 被终止，它们会立即被删除(但保持打开状态)以避免您必须清理。

Do I have a way to print it to stdout, line by line,

--行缓冲区

without buffering?

-u 一起禁用缓冲，但是你不能保证逐行。

--line-buffer 从版本 20170822 开始在内存中缓冲整行，因此不会在 /tmp 中缓冲。