php - 运行非常长的脚本 - 如何让它们保持运行并在它们失败时重新启动它们？

Question

我需要在 CENTOS 服务器上运行大量长时间运行的进程。

如果我让进程(python/php 脚本)运行，有时进程将停止运行因为一些小错误，例如。字符串编码问题，有时因为进程似乎被服务器杀死。

我尝试使用 nohup 并从 crontab 中触发作业

有没有办法让这些进程以保存所有变量的方式运行，并且我可以从停止的地方重新启动脚本？

我知道我可以将它编程到代码中，但我更喜欢一个通用的实用程序，它可以让这些东西继续运行，这样即使出现微不足道的错误，脚本也能完成。

也许我需要某种流程管理工具？

非常感谢任何建议

Answer 1

is there any way to keep these processes running in such a way that all the variables are saved and i can restart the script from where it stopped?

是的。这称为创建“检查点”或“纪念品”。

i know i can program this

很好。开始吧。每个问题都是独一无二的，因此您必须创建、保存和重新加载纪念品。

but would prefer a generalised utility which could just keep these things running so that the script completed even if there were trivial errors.

它不能很好地概括。并非所有变量都可以保存。只有您知道以有意义的方式重新启动流程需要什么。

perhaps i need some sort of process-management tool?

不是真的。

trivial errors eg. string encoding issues

通常，我们通过单元测试找到这些。这节省了大量的编程来解决错误。一盎司的预防胜过一磅愚蠢的变通办法。

sometimes because the process seems to get killed by the server.

什么？你最好找出原因。一盎司的预防胜过一磅愚蠢的变通办法。