python - 将 jupyter notebook 转为 python 脚本的最佳实践

Question

Jupyter (iPython) 笔记本当之无愧地被称为代码原型(prototype)设计和交互式执行各种机器学习工作的好工具。但是我在使用的时候，难免会遇到这样的情况:

• 笔记本很快变得过于复杂和凌乱，无法作为笔记本进一步维护和改进，我必须从中制作 python 脚本；
• 当涉及到生产代码(例如，需要每天重新运行的代码)时，笔记本再次不是最佳格式。

假设我已经在 jupyter 中开发了一个完整的机器学习管道，其中包括从各种来源获取原始数据、清理数据、特征工程和训练模型。现在，用高效和可读的代码来制作脚本的最佳逻辑是什么？到目前为止，我曾经用几种方法来解决它:

1. 只需将 .ipynb 转换为 .py，只需稍作更改，即可将 notebook 中的所有管道硬编码为一个 python 脚本。

   • '+':快速
   • '-':脏、不灵活、不方便维护

2. 制作一个包含多个函数的脚本(大约，每个单元格对应一个函数或两个单元格)，尝试用单独的函数组成管道的各个阶段，并相应地命名它们。然后通过argparse指定所有参数和全局常量。

   • '+':使用更灵活；更易读的代码(如果你正确地将管道逻辑转换为函数)
   • '-':通常情况下，管道不能拆分为逻辑上完整的部分，这些部分可以成为函数，而代码中没有任何怪癖。所有这些函数通常只需要在脚本中调用一次，而不是在循环、映射等中多次调用。此外，每个函数通常都会获取之前调用的所有函数的输出，因此必须向每个函数传递许多参数功能。

3. 与第(2)点相同，但现在将所有函数包装在类中。现在所有全局常量以及每个方法的输出都可以存储为类属性。

   • '+':你不需要为每个方法传递很多参数——所有之前的输出都已经存储为属性
   • '-':一个任务的整体逻辑还没有被捕获——它是数据和机器学习管道，而不仅仅是类。类的唯一目标是创建，依次调用所有方法，然后将其删除。除此之外，类的实现时间也很长。

4. 使用多个脚本将笔记本转换为 python 模块。我没有尝试过，但我怀疑这是处理问题的最长方法。

我想，这种总体设置在数据科学家中很常见，但令人惊讶的是，我找不到任何有用的建议。

各位，请分享您的想法和经验。你有没有遇到过这个问题？你是怎么解决的？

Answer 1

Life saver: as you're writing your notebooks, incrementally refactor your code into functions, writing some minimal assert tests and docstrings.

之后，从 notebook 重构为 script 就很自然了。不仅如此，它还能让您在编写长笔记本时更轻松，即使您不打算将它们变成其他东西。

带有“最少”测试和文档字符串的单元格内容的基本示例:

def zip_count(f):
    """Given zip filename, returns number of files inside.

    str -> int"""
    from contextlib import closing
    with closing(zipfile.ZipFile(f)) as archive:
        num_files = len(archive.infolist())
    return num_files

zip_filename = 'data/myfile.zip'

# Make sure `myfile` always has three files
assert zip_count(zip_filename) == 3
# And total zip size is under 2 MB
assert os.path.getsize(zip_filename) / 1024**2 < 2

print(zip_count(zip_filename))

一旦您将其导出为裸 .py 文件，您的代码可能还不会被结构化为类。但是值得努力将你的 notebook 重构到它有一组文档化的函数，每个函数都有一组简单的 assert 语句，可以很容易地移动到 tests.py 用于使用 pytest、unittest 或您拥有的东西进行测试。如果有意义的话，之后将这些函数捆绑到您的类的方法中是非常容易的。

如果一切顺利，您接下来要做的就是写下您的if __name__ == '__main__':及其“钩子(Hook)”:如果您正在编写要由终端调用的脚本，您将需要 handle command-line arguments ，如果你正在编写一个模块，你会想要考虑 its API with the __init__.py file等。

当然，这完全取决于预期的用例:将笔记本转换为小脚本与将其转换为成熟的模块或包之间存在很大差异。

以下是笔记本到脚本工作流程的一些想法:

1. 通过 GUI 将 Jupyter Notebook 导出为 Python 文件 (.py)。
2. 删除不执行实际工作的“帮助”行:print 语句、绘图等。
3. 如果需要，请将您的逻辑捆绑到类中。唯一需要的额外重构工作应该是编写您的类文档字符串和属性。
4. 使用 if __name__ == '__main__' 编写脚本的入口。
5. 为每个函数/方法分离 assert 语句，并在 tests.py 中充实一个最小的测试套件。