- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试在bash脚本中的26台服务器上运行多个mongodump。
我可以运行3条命令,例如mongodump -h staging .... &
mongodump -h production .... &
mongodump -h web ... &
同时,当一个完成时,我想启动另一个mongodump。
我无法同时运行所有26条mongodumps命令,服务器将在CPU上用尽。同时最多3个mongodumps。
最佳答案
您可以使用xarg
的-P
选项并行运行指定数目的调用:
请注意,-P
选项为not mandated by POSIX,但GNU xargs
和BSD / macOS xargs
均支持该选项。
xargs -P 3 -n 1 mongodump -h <<<'staging production web more stuff and so on'
mongodump -h staging
,
mongodump -h production
和
mongodump -h web
,等待所有3个调用完成,然后继续执行
mongodump -h more
,
mongodump -h stuff
和
mongodump -h and
,依此类推。
-n 1
从输入流中获取单个参数并调用
mongodump
;根据需要进行调整,必要时在输入中使用单引号或双引号。
xargs
-但不支持BSD
xargs
-支持
-P 0
,其中
0
表示:“同时运行尽可能多的进程”。
-I {}
进行指示,并将
{}
定义为每个输入行的占位符。
xargs -P 3 -I {} mongodump -h {} after <<<$'staging\nproduction\nweb\nmore\nstuff'
{}
代替,从而允许使用
after
参数。
xargs
允许您将
-n
与
-J {}
组合在一起,而无需提供基于行的输入,但是GNU
xargs
不支持
-J
。
xargs
不会并行化命令并行输出的stdout输出,因此并行进程的输出可以交错访问。
parallel
可以避免此问题-参见下文。
parallel
xargs
具有成为标准实用程序的优势,因此在支持
-P
的平台上没有先决条件。
parallel
包中的
moreutils
(二进制)-请参见
its home page。
parallel
包中的-更强大的-GNU
parallel
(Perl脚本),谢谢,
twalberg。 -参见
its home page。
parallel
实用程序,则
parallel --version
会告诉您它是哪个实用程序(GNU
parallel
报告版本号和版权信息,“ moreutils”
parallel
抱怨无效的选项并显示语法摘要) 。
parallel
:
parallel -j 3 -n 1 mongodump -h -- staging production web more stuff and so on
# Using -i to control placement of the argument, via {}
# Only *1* argument at at time supported in that case.
parallel -j 3 -i mongodump -h {} after -- staging production web more stuff and so on
xargs
不同,此
parallel
实现不采用从stdin传递的参数。所有传递参数必须在
--
之后在命令行上传递。
parallel
实现提供的唯一功能超出了
xargs
的功能:
-l
选项允许延迟进一步的调用,直到系统负载超出指定的阈值以下为止。
man
页):“ stdout和stderr是通过相应的内部管道进行序列化的,以防止烦人的并发输出行为。”尽管我发现
man
版本中的情况并非如此>页的日期为2009-07-2-请参阅最后一节。
parallel
:
parallel -P 3 -n 1 mongodump -h <<<$'staging\nproduction\nweb\nmore\nstuff\nand\nso\non'
# Alternative, using ::: followed by the target-command arguments.
parallel -P 3 -n 1 mongodump -h ::: staging production web more stuff and so on
# Using -n 1 and {} to control placement of the argument.
# Note that using -N rather than -n would allow per-argument placement control
# with {1}, {2}, ...
parallel -P 3 -n 1 mongodump -h {} after <<<$'staging\nproduction\nweb\nmore\nstuff\nand'
xargs
一样,传递参数通过stdin提供,但是GNU
parallel
还支持在可配置的分隔符(默认为
:::
)之后将其放在命令行中。
xargs
不同,每个输入行都被视为单个参数。
-q
将它们作为不同的参数传递;否则,请参见表11。例如,
parallel -q sh -c 'echo hi, $0' ::: there
仅与
-q
一起使用。
xargs
一样,您可以使用
-P 0
一次运行尽可能多的调用,从而充分利用机器的功能,这意味着根据Ole的说法,“直到GNU Parallel达到极限(文件句柄和进程) ”。
-P
不仅像其他实用程序那样一次运行一个进程,而且每个CPU内核运行一个进程。
--line-buffer
(在最新版本中为
--lb
)选择退出此行为或
-u
(
--ungroup
)甚至允许一条输出线混合来自不同进程的输出;有关详细信息,请参见手册。
parallel
被设计为更好的
xargs
的继任者,它提供了更多的功能:一个显着的例子是
perform sophisticated transformations on the pass-through arguments的功能,可以选择基于Perl正则表达式。另请参见:
man parallel
和
man parallel_tutorial
。
xargs
和两个
parallel
实现如何处理并行运行的命令的交错输出-是否在到达时显示输出,或尝试对其进行序列化:
parallel
提供任何序列化(尽管日期为2009-07-2的“ moreutils”
parallel
手册页说了什么[1]
./tst
:
#!/usr/bin/env bash
printf "$$: [1/2] entering with arg(s): $*"
sleep $(( $RANDOM / 16384 ))
printf " $$: [2/2] finished entering\n"
echo " $$: stderr line" >&2
echo "$$: stdout line"
sleep $(( $RANDOM / 8192 ))
echo " $$: exiting"
xargs
(GNU和BSD / macOS实施,在Ubuntu 16.04和macOS 10.12上均可找到):
$ xargs -P 3 -n 1 ./tst <<<'one two three'
2593: [1/2] entering with arg(s): one2594: [1/2] entering with arg(s): two 2593: [2/2] finished entering
2593: stderr line
2593: stdout line
2596: [1/2] entering with arg(s): three 2593: exiting
2594: [2/2] finished entering
2594: stderr line
2594: stdout line
2596: [2/2] finished entering
2596: stderr line
2596: stdout line
2594: exiting
2596: exiting
parallel
(其
man
页面日期为2009-07-02的版本)
$ parallel -j 3 ./tst -- one two three
3940: [1/2] entering with arg(s): one3941: [1/2] entering with arg(s): two3942: [1/2] entering with arg(s): three 3941: [2/2] finished entering
3941: stderr line
3941: stdout line
3942: [2/2] finished entering
3942: stderr line
3942: stdout line
3940: [2/2] finished entering
3940: stderr line
3940: stdout line
3941: exiting
3942: exiting
parallel
(版本20170122)
--line-buffer
(在新版本中为
--lb
)来选择行级序列化,或者使用
-u
退出任何类型的序列化
--ungroup
)。
$ parallel -P 3 ./tst ::: one two three
2544: [1/2] entering with arg(s): one 2544: [2/2] finished entering
2544: stdout line
2544: exiting
2544: stderr line
2549: [1/2] entering with arg(s): three 2549: [2/2] finished entering
2549: stdout line
2549: exiting
2549: stderr line
2546: [1/2] entering with arg(s): two 2546: [2/2] finished entering
2546: stdout line
2546: exiting
2546: stderr line
关于bash - 并行运行一定数量的命令-对比xargs -P,GNU并行和“moreutils”并行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42651475/
关于strcat函数。 while (*p) p++; 和 while (*++p) ; 两者都有效,但是 while (*p++) ; 不起作用。我认为 first 和 th
" in HTML?(HTML中的““是什么
?)
下面例子中的第一行代码是什么。我看到一个YouTuber在写下面的代码,它显示了一个设计在csswar Challenges中。我也尝试了一下,它很管用。但我以前从未在任何HTML教程上看到过它,我在
vs.
是不间断空格,表示没有换行的空白处。 如果我用 我在两个段落之间有一个空格(更大的间隔)。如果我使用 我在两个段落之间只有一个新行(没有中断)。为什么? 最佳答案 在 HTML 中
这个问题已经有答案了: Why are these constructs using pre and post-increment undefined behavior? (14 个回答) 已关闭 9
我对编程还很陌生,只是想知道为什么这段代码: for ( ; *p; ++p) *p = tolower(*p); 当 p 指向一个字符串时,可以降低 c 中字符串的大小写吗? 最佳答案 一般来说,这
代码 int n = 25; int *p = &n; printf("%x\n %d\n %x\n", p, p[0], p[1]); 返回: \ 当然我永远不会这样做,但在 K&R 中声明
所以,我想创建一个简单的程序,返回有关连续素数的计算结果。首先,我创建一个包含所有这些素数的列表,然后尝试计算结果,但这给了我一个超出范围的索引。有人可以帮助我吗?我的程序: primes = []
这个问题在这里已经有了答案: With arrays, why is it the case that a[5] == 5[a]? (20 个答案) 关闭 9 年前。 我想知道 C/C++ 中以下四
我仍在努力理解 *p、&p 和 p 之间的区别。根据我的理解,* 可以被认为是“指向的值”,而 & 可以被认为是“地址”。换句话说,* 保存值,而 & 保存地址。如果这是真的,那么 *p 和 p 之间
你是吗? [xxxrecipientFirstNamexxx]
和你是吗? {recipientFirstName}
需要更换 你是吗? [xxxrecipientFirstNamexxx] 和 你是吗? {recipientFirstName} 。我尝试使用边界匹配器。但结果并不符合预期。我尝试使用下面的代码 "A
我想按 IsTop 属性升序排序对象,然后按 JobId 属性降序排序: query = query.OrderBy(p => p.IsTop).ThenOrderByDescending(p =
在我尝试使用 Apache POI 进行转换的 Excel 文件中,我有一个单元格的数值为 -3.97819466831428,自定义格式为“0.0 p.p.;(0.0 p.p.)”。因此,在 Exc
我想创建一个扩展方法,允许我调用 ToSerializableDictionary(p => p.ID)而不是 .ToDictionary(p => p.ID)在以下 LINQ 上下文中。虽然我不确定
在下面的 HTML 代码上运行此 jQuery 代码会返回不同的结果,我认为它们应该返回相同的值。 jQuery 代码: var counter = 0; $("p").each(function()
在下面的代码片段中,符号 *p 等同于 p[0],*(p + 1) 等同于p[1],依此类推。 int* p = new int[3] { 1, 2, 3}; cout << *p << ' ' <<
这个问题在这里已经有了答案: What will happen when I call a member function on a NULL object pointer? [duplicate]
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: Undefined Behavior and Sequence Points 按照标准中的定义,E1 +=
" in HTML?(在HTML中“
以下示例中的第一行代码是什么。我看到一个youtube用户写下面的代码,它显示在cssbattle挑战的设计。我也试过,它的作品。但我从来没有见过它在任何HTML教程之前,我在谷歌上搜索它,但它只显示
每当我收到来自 MS outlook 的电子邮件时,我都会收到此标记 & nbsp ; (没有空格)哪个显示为?在 <>. 当我将其更改为 ISO-8859-1 时,浏览器页面字符集编码为 UTF-8
p1
TESTp2
代码: from bs4 import BeautifulSoup soup = BeautifulSoup('p1TESTp2') print soup.div() 结果: [p1, p2] 为什么
我是一名优秀的程序员,十分优秀!