linux - wget 和 bash 错误 : bash: line 0: fg: no job control

Question

我正在尝试通过 xargs 并行运行一系列命令。我在文件 cmd_list.txt 中创建了一个以 null 分隔的命令列表，然后尝试使用 6 个线程并行运行它们，如下所示:

cat cmd_list.txt | xargs -0 -P 6 -I % bash -c %

但是，我收到以下错误:

bash: line 0: fg: no job control

我已经缩小了与命令列表中各个命令的长度相关的问题。这是一个用于下载图像的人为长命令示例:

mkdir a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8
wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg

只需单独运行 wget 命令，没有文件列表和 xargs，就可以正常工作。但是，在 bash 命令提示符下运行此命令(同样，没有文件列表)失败并显示 no job control error:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -I % bash -c %

如果我省略长文件夹名称并因此缩短命令，它可以正常工作:

echo "wget --no-check-certificate --no-verbose -O /tmp/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -I % bash -c %

xargs 有一个 -s (size) 参数可以改变命令行长度的最大大小，但我试着把它增加到荒谬的大小(例如，16000 ) 没有任何影响。我认为问题可能与传递给 bash -c 的字符串的长度有关，但以下命令也可以正常工作:

bash -c "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg"

我知道还有其他选项可以并行运行命令，例如 parallel 命令 ( https://stackoverflow.com/a/6497852/1410871 )，但我仍然非常想修复我的设置或至少弄清楚哪里出了问题。

我在 Mac OS X 10.10.1 (Yosemite) 上。

Answer 1

看起来解决方案是避免 xargs 的 -I 参数，根据 OS X xargs man page , 对替换字符串有 255 字节的限制。相反，-J 参数可用，它没有 255 字节的限制。

所以我的命令看起来像:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -J % bash -c %

但是，在上面的命令中，只有第一个空格之前的替换字符串部分被传递给 bash，因此 bash 尝试执行:

wget

这显然会导致错误。我的解决方案是确保 xargs 使用 -0 参数将命令解释为空分隔而不是空格分隔，如下所示:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -0 -J % bash -c %

最后，这成功了!

感谢@CharlesDuffy 提供了大部分见解。不感谢我的 OS X 版本的 xargs，因为它对超过 255 字节限制的替换字符串的处理不佳。