linux - 使用 bash '&' 命令并行处理-6ren

linux - 使用 bash '&' 命令并行处理

转载作者：塔克拉玛干更新时间：2023-11-03 00:50:26

25

4

我正在尝试使用不同的参数同时多次运行一个 R 文件。 GNU Parallel 对我来说不是一个选项，因为我在我无权安装 Parallel 的服务器上运行它。所以我选择了 bash 命令 &。

command1 & command2 & command3 ..... command30

但是，当我运行它时，它并没有按预期运行。在命令中，我将每个命令的输出保存到一个新文件中，我注意到一些文件是空的。其实大部分。所以我猜测只写上面的内容，一些进程就被杀死了。

但是，当我给

command1 &
command2 &
command3 &
command4 &

wait &

command5 &
command6 &
command7 &
command8 &

wait 

.
.
.

它工作正常，但问题是它比只运行 command1 花费了将近 5 倍的时间，因为它要等到前面的命令完成。时间在这里是非常重要的因素，我希望所有命令(几乎)同时运行，因为它只需要一个命令。

为什么没有 wait 就“崩溃”了？
有什么方法可以缩短时间，使所有命令都可以在一个命令所用的时间运行吗？
有什么方法可以在不使用 wait 的情况下实现它？

(从技术上讲，我知道 & 不会让进程并行运行，但它会为每个命令创建不同的进程)。

提前致谢!

我的原始代码:

Rscript svmRScript_v2.r 0.05 1 > output/out0.1-10.txt &
Rscript svmRScript_v2.r 0.05 2 > output/out0.05-2.txt &
Rscript svmRScript_v2.r 0.05 5 > output/out0.05-5.txt &
Rscript svmRScript_v2.r 0.05 10 > output/out0.05-10.txt &

wait &

Rscript svmRScript_v2.r 0.05 50 > output/out0.05-50.txt &
Rscript svmRScript_v2.r 0.05 100 > output/out0.05-100.txt &
Rscript svmRScript_v2.r 0.05 500 > output/out0.05-500.txt &
Rscript svmRScript_v2.r 0.01 1 > output/out0.1-10.txt &

wait &

Rscript svmRScript_v2.r 0.01 2 > output/out0.01-2.txt &
Rscript svmRScript_v2.r 0.01 5 > output/out0.01-5.txt &
Rscript svmRScript_v2.r 0.01 10 > output/out0.01-10.txt &
Rscript svmRScript_v2.r 0.01 50 > output/out0.01-50.txt &

wait &

Rscript svmRScript_v2.r 0.01 100 > output/out0.01-100.txt &
Rscript svmRScript_v2.r 0.01 500 > output/out0.01-500.txt &
Rscript svmRScript_v2.r 0.005 1 > output/out0.1-10.txt &
Rscript svmRScript_v2.r 0.005 2 > output/out0.005-2.txt

最佳答案

检查文件时，文件尚未写出。使用输出重定向，shell 在您启 Action 业时创建输出文件，但输出缓冲通常会使文件为空或至少不完整，直到该过程完成。等待会迫使您延迟，直到工作真正完成。

除非单个作业大部分都在等待某些外部资源，否则期望并行处理在您可以执行一个作业的同时执行两个作业是非常不合理的。更多的工作需要更多的时间。

如果您启动太多后台进程，您实际上会更慢地完成作业，因为任务切换会占用更多的可用处理能力。只试验几个，尤其是当它们严重依赖 CPU 时。五个作业的批处理可能是一个合理的起点，但瓶颈显然将完全取决于这些脚本实际在做什么。

关于linux - 使用 bash '&' 命令并行处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32069851/

25

4

0

文章推荐： android - setLayoutParams 与 addView 添加新 View

文章推荐： c++ - 无法访问 IpOpt 选项列表

文章推荐： java - Android 堆增长 - 我应该担心吗？

bash - IntelliJ : System bash and IntelliJ bash are not the same
我用 IntelliJ IDEA 2021.1 CE 在流行!_OS 20.04 与 bash 5.0.17 . 问题造句:我将IntelliJ终端设置为/bin/bash通过 IntelliJ 设
bash - 是否有 bash 命令来显示 bash 快捷方式？
给定如下命令: bash --shortcuts 我想显示一个快捷方式列表，就像在这个页面上一样: http://www.skorks.com/2009/09/bash-shortcuts-for-m
bash - 如何将带空格的参数从 bash 脚本传递到 bash 脚本？
我有一个脚本可以操作数据、创建参数并将它们发送到第二个脚本。其中一个参数包含一个空格。脚本1.sh: args=() args+=("A") args+=("1 2") args+=("B") .
bash - 从 bash 脚本到无限循环中的 bash 脚本
我的脚本的“只运行一次”版本的一个非常简单的示例: ./myscript.sh var1 "var2 with spaces" var3 #!/bin/bash echo $1 #output: va
bash - bash 中数字的表示和 bash 中十六进制数的 printf
我想了解数字( double )在 bash 中是如何表示的，以及当我在 bash 中以十六进制格式打印数字时会发生什么。根据 IEEE 754 标准，double 应由 64 位表示:52 位(1
bash - bash -c ""中的源 bash 脚本
我试图在 bash -c "..." 命令中获取 bash 脚本，但它不起作用。如果我在 bash -c "..." 之外运行命令，它会起作用。我需要使用 bash -c "..." 因为我想确保
bash - 检测 bash 中是否存在 Bash 补全
如何检测我的 bash shell 中是否加载了 bash 补全包？从 bash-completion 的 2.1 版(包含在 Debian 8 中)开始，除了 BASH_COMPLETION_COM
bash - 如何在 bash 脚本中使用 bash 配置文件中定义的函数？
我的 bash_profile 中有一个投影函数。现在我试图从 bash 脚本中调用这个函数，但是我得到了一个未找到的错误。如何使投影函数对 bash 脚本可见？最佳答案必须导出函数 export
bash - 通过 bash 脚本将参数传递给/bin/bash
我正在编写一个 bash 脚本，它接受许多命令行参数(可能包括空格)并通过登录 shell 将它们全部传递给程序 (/bin/some_program)。从 bash 脚本调用的登录 shell 将取
bash - 在新的 bash 中更改 bash 提示符
当我创建一个新的 bash 进程时，提示符默认为一个非常简单的提示符。我知道我可以编辑 .bashrc 等来更改它，但是有没有办法使用 bash 命令传递提示？谢谢! 最佳答案提示由 PS1、PS
bash - Bash shell 和 Bash 终端之间的区别？
好的，我希望这个问题有一定道理，但是 bash shell 和 bash 终端之间有什么区别？例子。当我第一次打开终端时，会提示我当前的目录和用户名。在终端窗口标题中显示 -bash- ，当我键入 e
bash - SBCL:从 bash 运行并退出回到 bash
我是 SBCL 的新手，我正在尝试从 bash 终端运行存储在文本文件中的 Lisp 脚本。这是我在文件开头写的内容 http://www.sbcl.org/manual/#Running-from
bash - Bash 中的十六进制到十进制
我知道我们可以在 bash 中使用将十六进制转换为十进制 #!/bin/bash echo "Type a hex number" read hexNum echo $(( 16#$hexNum ))
bash - bash 脚本中的自动完成
我正在尝试在 bash 脚本中自动完成文件夹名称。如果我输入完整的文件夹名称，一切正常，但我不知道如何自动完成名称。有什么想法吗？ repo() { cd ~/Desktop/_REPOS/$1 }
bash - 如何将多个命令通过管道传递给 bash？
我想检查远程网站上的一些文件。这里是bash命令生成计算文件md5的命令 [root]# head -n 3 zrcpathAll | awk '{print $3}' | xargs -I {}
bash - 获取给定日期后的下一个星期日 (bash)
是否有任何内置函数可以使用 bash shell 脚本从给定日期获取下周日(下周一、下周二等)？例如，2014 年 9 月 1 日之后的第一个星期日是什么时候？我预计 2014 年 9 月 7 日。
bash - 在循环中重命名匹配模式的文件 - Bash
我一直在尝试根据表格重命名一些特定文件，但没有成功。它要么重命名所有文件，要么给出错误。该目录包含数百个以长条形码命名的文件，我只想重命名包含模式 _1_ 的文件。例子 barcode_1_bar
bash - bash 中有没有办法用变量的内容替换文本文件中的占位符？
bash 中有没有办法用变量的内容替换文本文件中的占位符？例如，我想发送一封电子邮件通知，如下所示: Dear Foo, Alert: blah blah blah blah blah blah
bash - bash 脚本执行中出现的坏字符
我有一个 bash 脚本，它在某些字符串上附加了一个重音字符，导致它失败，我找不到这些字符在哪里或如何进入那里。这是一些示例输出: mv: cannot move â/tmp/myapp.zipâ
bash - bash 可以向终端输入写入命令吗？
这个问题在这里已经有了答案: How do I place stdout on edit line? (1 个回答) Can a bash script prepopulate the prompt

首页

博学

6Ren·AI

商城

linux - 使用 bash '&' 命令并行处理