jupyter-notebook - 使用Jupyter Notebook时有没有办法从上次关机点继续工作

Question

我正在学习数据科学并使用 Jupyter Notebook 来完成这项工作。我已经做了很多数据预处理和训练工作。但我意识到，每次关闭笔记本电脑并想在第二天继续工作时，我都必须运行所有单元格。从第一个到我上次停下来的牢房。这浪费了我的时间，因为再次运行所有单元格需要很长时间。我相信必须有更好的方法。因为我加载数据、处理数据、拟合机器学习模型，所以每次都重新开始没有意义。但是，我没有找到答案。谁能告诉我该怎么做？

我刚听说 Dill，它保存变量，是否保存 ML 模型，重新打开 Jupyter 时，与关闭时完全一样吗？

Answer 1

无法保存整个 Jupyter notebook 的状态。所有变量都存储在内存中。因此，当您关闭笔记本时，一切都将丢失。

您可以做的是显式地保存中间步骤:

• 对于数据处理，在获得最终数据集后使用 pd.write_csv(df)，这样您就不必对数据进行预处理。打开笔记本时，检查文件是否存在，如果存在，将其加载到新的数据框中。
• 训练模型后，使用 pickle 库保存它(检查原始问题中的第一条评论)。并在打开笔记本时加载训练好的模型。

如果这样做，您就不必在每次关闭并再次打开笔记本时都重新运行所有繁重的任务。

希望对您有所帮助，干杯!