python - 如何测试使用 XCom 的 Apache Airflow 任务

Question

我正在尝试找出一种方法来测试 DAG，其中我有几个任务使用 XCom 进行通信。

由于控制台命令只允许我从 DAG 运行任务，是否有一种无需通过 UI 运行 DAG 即可测试通信的方法？

谢谢

Answer 1

这是一种对我有用的方法。

即使 Airflow 网页声明测试命令不会生成或保持任何状态，但按顺序运行 Airflow 测试命令仍然有效。

基本上你会:

Airflow test my_dag task1 date
Airflow test my_dag task2 date

其中 task1 返回值或使用 xcom_push 方法发送值，然后 task2 运行 xcom_pull 以获取值并继续。

它对我有用。如果您有不同的方法或其他问题，请发表评论。