python - 如何在 Airflow 中设置 emr_default

Question

亲爱的 Stackoverflow 成员，我正在尝试使用 Airflow 来安排启动集群的 DAG，运行一些 spark 作业然后自行终止。我试图按照这个例子:
https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py
它给了我错误:airflow.exceptions.AirflowException: The conn_id emr_default没有定义
我可能需要 emr_default设置(如果不是这种情况，请纠正我)。有没有人以前尝试过这个并给我一些关于如何设置的提示？ Airflow 网站没有提供太多关于 emr 连接的信息:http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections

谢谢!

Answer 1

在 Airflow UI 上，转到 Admin -> Connections 选项卡，然后编辑 emr_default 行的值。