gpt4 book ai didi

python - Airflow 在 Python 运算符之间传递数据帧

转载 作者:行者123 更新时间:2023-12-04 11:41:30 25 4
gpt4 key购买 nike

我试图寻找这个答案,但找不到任何对我想要做的事情有意义的东西。

我正在尝试创建一个 DAG,它将从 FTP 获取文件并返回一个数据框,清理数据框,然后导入到 SQL。所以它最终看起来像:
connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql
因此,如果我想在一个运算符中获取数据帧,然后将其传递给另一个运算符,我将如何执行此操作?我是使用 xcom 变量,还是应该在代码中创建全局变量?

最佳答案

所以我在文档中阅读:
https://airflow.apache.org/concepts.html#operators

操作符应该是原子的,并且应该很少相互传递数据。所以我猜我想错了?

关于python - Airflow 在 Python 运算符之间传递数据帧,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58582705/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com