linux - 如何在网络服务器上每分钟运行一个服务

Question

我没有太多运行大型网站的经验，但我正在开发一个需要服务基本上不间断运行的项目。该服务将通过 API 收集信息，由于我收集的数据量很大，因此它必须每 4 小时左右运行 400 个请求。

之前，我使用 cron 作业来运行执行必要功能的 php 脚本，但我不确定这是否是处理大量请求的有效方法。

大型网站使用什么来解决此类问题？

我能想到的最好的办法就是创建一个不间断运行的自定义应用程序。还有其他解决方案吗？

我将使用 Linux 服务器，我有哪些选择以及是否需要专用服务器？

Answer 1

您需要使用 Apache 风格的 Pre-Forked 模型，其中您有一个主管进程，用于 fork N 个工作进程，并处理 SIGCHLD 等。子进程将连接到作业队列，并阻止等待分配给它们的工作。

作业队列通常类似于 Redis 队列，您可以将作业数据泵入其中。

完成的工作通常通过不同的队列与 jobid 反馈，然后由单独的任务收集并完成“一些工作”(将结果保存在某处，将结果传递到不同的队列以执行不同的工作等)。

参见http://python-rq.org/docs/ & http://gearman.org/作为示例框架。