python - 我们如何使用 apache airflow API 创建 dataproc 集群

Question

我是 Python 和 Airflow 的新手，我使用 pythonoperator 在我的 Python 脚本中创建了 4 个任务。第一个和第二个任务从 GCP Bucket 中检索 zip 文件，然后读取数据，另一个任务是合并两个文件数据。现在我需要再创建一个任务，可以创建 Dataproc Cluster。

我看过Airflow API，但没有得到足够的信息和线索。有什么有用的例子吗？

提前致谢!

Answer 1

有一个名为 DataprocClusterCreateOperator 的运算符将为您创建 Dataproc 集群。

在 https://airflow.apache.org/_api/airflow/contrib/operators/dataproc_operator/index.html#module-airflow.contrib.operators.dataproc_operator 查看 DataprocClusterCreateOperator 的文档

from airflow.contrib.operators import dataproc_operator

create_dataproc_cluster = dataproc_operator.DataprocClusterCreateOperator(
    task_id='create_dataproc_cluster',
    # Give the cluster a unique name by appending the date scheduled.
    # See https://airflow.apache.org/code.html#default-variables
    cluster_name='hadoop-cluster',
    num_workers=2,
    zone='europe-west1-b',
    master_machine_type='n1-standard-1',
    worker_machine_type='n1-standard-1',
    dag=dag)