gpt4 book ai didi

运算符(operator)之间的 Airflow 和数据传输

转载 作者:行者123 更新时间:2023-12-04 11:01:34 26 4
gpt4 key购买 nike

我是 Airflow 的新手,并且对 Airflow 及其处理器有疑问。
当处理器产生输出时,如何将此输出输入到下一个处理器?
有一个名为nifi的软件将中间输出存储到流文件中,而afaik在 Airflow 中没有这样的东西。
那么这是怎么发生的呢?

提前致谢。

最佳答案

Airflow使用Xcoms在运算符(operator)之间传递数据。

如果流是运算符A->运算符B,则运算符A必须“推”一个值到xcom,并且运算符B如果要读取它,则必须从A推“该”值。

A下游的任何运算符都可以通过以下方式访问推送到Xcom的任何值A:

value = context['task_instance'].xcom_pull(task_ids='operator_a', key='key_name') 

运算符A会像这样推送此值:

context['task_instance'].xcom_push(key_name,value,context['execution_date'])

关于运算符(operator)之间的 Airflow 和数据传输,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42762087/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com