python - 有没有一种简单的方法可以在扩展的 python 脚本中使用 "checkpoints"？

Question

作为我的问题的序言，让我提供一些背景信息:我目前正在研究一个包含许多不同步骤的数据管道。每一步都可能出错，而且很多都需要一些时间(不是很多，但在几分钟的数量级)。

因此，管道目前受到人工的严格监督。分析师会检查每个步骤，在 Jupyter notebook 中运行 python 代码，并在遇到问题时对内联代码进行细微调整并重复该部分。

从长远来看，这里的目标是实现零人为干预。然而，在短期内，我们希望使这个过程更加无缝。最简单的方法似乎是将每个部分拆分成它自己的脚本，并有一个运行每一位并验证输出的父脚本。但是，我们还需要能够在失败时使用相同的设置重新运行文件。

例如:

run a --> ✅
run b --> ✅ (b relies on some data produced by a)
run c --> ❌ (c relies on data produced by a and b)
// make some changes to c
run c --> ✅ (c should run in an identical state to its original run)

最明显的方法是将每个脚本的输出写入一个文件，然后将所有这些脚本加载到下一个脚本中。这会起作用，但似乎有点不雅。数据库似乎是另一个有效的选择，但很多数据不能完全适合数据库格式。

有没有人对实现我正在寻找的东西的某些方法有任何建议？如果有任何不清楚的地方，我也非常乐意澄清任何要点!

Answer 1

您可以创建一个基本上在每个步骤后都保持状态的对象，并使用 pickle 将该对象序列化到一个文件中。

然后由您的 python 脚本解开该文件，然后根据状态决定需要从哪一步开始。

https://wiki.python.org/moin/UsingPickle