php - 仅在机器空闲时运行 cron 作业 (linux)

Question

如何仅在 CPU 闲置 >50% 时运行 cron 作业(bash 脚本)？

我可以从 TOP 让 cpu 空闲

top -b -d 00.10 -n 3 |grep ^Cpu
Cpu(s): 0.3%us, 0.3%sy, 0.0%ni, 99.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

我目前的设置是:

crontab
0,15,30,45 * * * * /usr/bin/php /home/user/batchprocess.php
# I could use a bash script here to call PHP, if it is a good solution.

我有 PHP 脚本检查 CPU 空闲:

batchprocess.php
proc_nice(10);
// wait for CPU idle
do{
    $cpu_stat = exec('top -b -d 00.10 -n 3 |grep ^Cpu');    
    $tmp = stristr($cpu_stat,'%id',TRUE);
    $cpuidle = trim(substr($tmp,strrpos($tmp,',')+1));
}while($cpuidle<$min_cpuidle);
// do actual processing here

我当前方法的问题在于它会在不考虑 CPU 使用率的情况下启动程序。而且跑TOP的while循环感觉效率不高。我希望它只在 CPU idle>50

时启动

一些附加信息:

• Centos 6.2, PHP5.3

• 我有几个永不关闭的 EC2 实例，所以我想在闲置时利用它们的处理能力。但永远不要让服务器负载过重。 (冗余DB实例、开发实例、NAT实例)

• 我知道 EC2 自动缩放，spot 实例。只想使用额外的容量。

• 后台作业是图像压缩(CPU 密集型，没有太多 I/O 或网络)。

欢迎任何建议。提前致谢!

---

根据下面的输入，我意识到“nice”对我来说是更好的解决方案。我应该重新调整我的目标，以尽量减少对服务器的影响，而不是跟踪 CPU 利用率。

所以新的设置是:

crontab
0,15,30,45 * * * * nice -20 /usr/bin/php /home/user/batchprocess.php

和 PHP 脚本:

batchprocess.php
if ($cpuidle < 50) 
    exit(0);
// do actual processing here

我会测试它并发回我的发现。

---

反馈:我已经把这段代码通过 DEV/PRD，它工作得很好。它没有解决 TOCTOU 的问题，但现在已经足够好了。

Answer 1

这是TOCTOU的典型案例- 你检查系统是否空闲，然后启动你的进程 - 但在你检查之后，在你的进程启动时或之前，其他原因导致系统中的另一个进程启动并且你仍然加载系统超过必要的。

执行此操作的“正确”方法是使用 nice 命令将您的进程设置为低优先级。顺便说一句，检查 cpu 使用率的循环将使用 100% 的 cpu，因此除非您第一次检查它是否空闲，否则它可能无法工作。

您已经有一个“proc_nice(10)”，所以它应该可以完成工作。我认为花费精力来确定系统是否繁忙没有任何意义。

如果您愿意，可以在代码中的适当位置执行如下操作:

 if (check_cpu_usage() > 50%) sleep(1second); 

但我不确定这是否有用 - 如果系统很忙，“不错”的进程将不会获得太多 CPU 时间，因此不会与其他以更高优先级运行的进程竞争。