lambda - AWS Lambda 和 Apache Airflow 集成

Question

想知道是否有人可以阐明这个问题:

我正在尝试找到 Airflow REST API URL 以启动 DAG 以从 AWS Lambda 函数运行。

到目前为止，从查看 Apache 孵化器站点提供的所有相关文档来看，解决该问题的唯一指导是在 Lambda (python 3.6) 代码中使用此 URL 结构:

Apache 实验 API:https://airflow.apache.org/api.html#endpoints

基于该链接，语法应为:

http://airflow_hostname/api/experimental/dags/<DAG_ID>/

但是，这无法从我的 AWS Lambda 函数启动特定 DAG，任何帮助/指导或指示都会很棒。

Answer 1

在 Airflow 1.10 中，以下 post 请求将起作用:

curl -X POST http://localhost:8080/api/experimental/dags/<dag_id>/dag_runs -H 'Cache-Control: no-cache' -H 'Content-Type: application/json'    -d '{"conf":"{\"key\":\"value\"}"}'

您需要传递一个空的 JSON 字符串，否则 post 请求将失败。