airflow - 如何从 Apache Airflow 触发 azure Databricks notebook

Question

我在 Azure 数据 block 笔记本中创建了一些 ETL。现在尝试从 airflow-1.10.10 执行该笔记本。

如果有人能提供帮助就太好了。

提前致谢。

Answer 1

Airflow includes native integration with Databricks ，它提供了 2 个运算符:DatabricksRunNowOperator 和 DatabricksSubmitRunOperator(包名称因 Airflow 版本而异。还有一个 example of how it could be used。

您将需要创建一个名称为 databricks_default 的连接，其中包含用于安排作业的登录参数。在最简单的情况下，对于作业，您只需要提供集群的定义和笔记本规范(至少是笔记本运行的路径)，如下所示:

    notebook_task_params = {
        'new_cluster': new_cluster,
        'notebook_task': {
            'notebook_path': '/Users/airflow@example.com/PrepareData',
        },
    }
    # Example of using the JSON parameter to initialize the operator.
    notebook_task = DatabricksSubmitRunOperator(
        task_id='notebook_task',
        json=notebook_task_params
    )

附言有一个 old blog post随着整合的宣布。