jupyter - 如何在 Airflow 中运行 jupyter notebook

Question

我的代码是用 jupyter 编写的，并保存为 .ipynb 格式。

我们想使用 Airflow 来安排执行并定义依赖项。

笔记本如何在 Airflow 中执行？

我知道我可以先将它们转换为 python 文件，但动态生成的图形将难以处理。

有没有更简单的解决方案？谢谢

Answer 1

您还可以使用 airflow + papermill 的组合。

造纸厂

Papermill 是一个运行 jupyter notebook 的工具，参数:https://github.com/nteract/papermill
运行 jupyter notebook 非常简单，你可以通过 python 脚本来完成:

import papermill as pm

pm.execute_notebook(
   'path/to/input.ipynb',
   'path/to/output.ipynb',
   parameters = dict(alpha=0.6, ratio=0.1)
)

或来自 CLI:

$ papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

它将从输入路径运行一个笔记本，在输出路径中创建一个副本，并在每个单元格运行后更新此副本。

Airflow 集成

为了将其与 Airflow 集成，有一个专门的造纸厂运算符(operator)来运行参数化笔记本: https://airflow.readthedocs.io/en/latest/howto/operator/papermill.html
您可以直接在 DAG 定义中设置相同的输入/输出/参数参数，并为 aifrlow 变量使用模板:

run_this = PapermillOperator(
    task_id="run_example_notebook",
    dag=dag,
    input_nb="/tmp/hello_world.ipynb",
    output_nb="/tmp/out-{{ execution_date }}.ipynb",
    parameters={"msgs": "Ran from Airflow at {{ execution_date }}!"}
)