gpt4 book ai didi

python - 如何让 Luigi 任务生成一个内存列表作为目标

转载 作者:太空狗 更新时间:2023-10-29 23:57:50 24 4
gpt4 key购买 nike

我正在尝试使用 luigi 编写一个 etl 管道.据我从文档中了解到,luigi 中的任务可以生成一个目标,该目标可以是某种类型的文件存储或数据库。为了减少处理时间,我希望将内存列表作为输出。这可能吗?我必须创建自定义目标吗?

最佳答案

我发现我可以使用 MockFile 作为目标。一个很好的例子:

http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html

关于python - 如何让 Luigi 任务生成一个内存列表作为目标,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38434799/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com