gpt4 book ai didi

ruby - 轻松备份长时间运行的 ruby​​ 进程

转载 作者:数据小太阳 更新时间:2023-10-29 08:02:17 26 4
gpt4 key购买 nike

我计划运行一个可能需要一个月才能完成的 ruby​​ 进程。如果可能的话,我想确保停电或按错按钮不会让我损失整个月的工作。

有没有一种简单的方法可以定期将程序的状态保存到磁盘? (涉及更多工作的技术包括添加代码来编码除数据库之外的所有内容,或者可能为进程的操作系统使用虚拟机)

(对于那些感兴趣的人:这个过程包括解析一个知名网站的数 GB 的 XML 文件,处理一些信息,并在处理过程中将信息保存到 ActiveRecord 数据库中。两次。)

编辑:项目是this one ,XML 文件为 pages-articles.xml(例如 enwiki-20090306-pages-articles.xml)。没有专有的东西,我只是不想进入“Plz halp”模式。第一遍获取维基百科页面标题列表,下一遍确定从每个页面到另一个页面的第一个链接,然后我计算一些统计数据。

按照一些回答者的建议,从我离开的地方继续,可能是一个有效的选择。如果它在第一次通过时崩溃,那么我可能会重新运行它,告诉它不要添加已经存在的条目。如果它在第二次通过时崩溃,那么我应该只要求它为尚未计算链接的页面建立链接。如果它在计算统计数据时崩溃了,我可以重新计算统计数据。

另一个编辑:这个问题的更一般版本在 Save a process’ memory for later use? 提出.看起来您无法轻松备份长时间运行的进程。

最佳答案

从上周末我的工作机器意外断电(大楼其他地方正在施工)的角度来看,我很赞同这个想法。

划分任务有什么值(value)吗?能否将输入文件重新加工成许多更小的文件?

数量级较小,我知道,但我有一个过程,每天早上在几个 AR 模型中加载大约 200 万行。为了解决我遇到的可怕的数据库延迟问题(不同国家/地区的数据库服务器 - 不要问),我将输入的 CSV 文件重写为 16 个“片段”。每个片段都记录在片段模型中,这有助于我识别任何完成失败以重新运行。它工作得非常好,并且在需要时重新启动也很简单。通常运行时间约 30 分钟。

如果您的 XML 输入结构合理,那么将子结构(我相信有比这更好的术语)提取到单独的文件中应该相当简单。我不知道 SAX 解析器能够以多快的速度执行此操作 - 可能不会太可怕,但如果它仍然太慢,则完全可以在没有 XML 库的情况下完成。考虑向目标模型添加一列以标识从中加载它的片段 - 这样剥离不完整的运行很简单。

除此之外,考虑将所有状态保存在一个类中并使用 Marshal 定期保存?

关于ruby - 轻松备份长时间运行的 ruby​​ 进程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/724499/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com