php - 在 Web 服务器上处理长时间运行任务的最佳方式

Question

在过去的几天里，我一直在谷歌搜索我应该如何处理网络服务器上长时间运行的任务。我找到了很多关于如何以特定语言运行它们的很好的答案，但没有找到为这种工作选择什么语言。

所以，我有一个运行某种自定义电子商务平台的网络服务器。还有另一台服务器，其中一些产品分销商通过 API 提供对其数据的访问。我必须在这两个服务器之间同步产品列表。产品基础相当大(大约 100000 种产品)。

我的想法是编写 php 脚本，从各种 API 端点收集数据并相应地更新数据库。但这会花费很长时间，因此如果不进行硬修改和深入研究 php 本身，它就会超时。

现在我在想，也许我应该编写 python 脚本，它通过 API 端点并收集有关每个产品的数据。收集有关产品的数据后，python 脚本可以启动 php 脚本，该脚本可以更新数据库中有关该特定产品的数据。

您对此有何看法？处理它的最佳方法是什么？

Answer 1

这听起来像是您最好从服务器端使用 Cron 来做的事情，例如，而不是从浏览器。当然，除非您需要由无法访问终端的人员在随机时间手动执行此操作。

如果它必须是 PHP，您可以使用 cron 或从终端运行它并禁用超时(请参阅:http://php.net/manual/en/function.set-time-limit.php)，如果需要，甚至可以使用 & 将其保留为后台进程。这样您就不会受到 Apache(或您使用的任何服务器)时间限制的限制。