gpt4 book ai didi

airflow - 删除 Airflow 任务日志

转载 作者:行者123 更新时间:2023-12-03 11:42:20 42 4
gpt4 key购买 nike

我正在运行 5 个 DAG,它们在 base_log_folder 中总共生成了大约 6GB 的日志数据。一个多月的时间。我刚刚添加了一个 remote_base_log_folder但似乎不排除登录到 base_log_folder .

无论如何,是否可以自动删除旧日志文件,旋转它们或强制 Airflow 仅在远程存储中不登录磁盘(base_log_folder)?

最佳答案

请引用https://github.com/teamclairvoyant/airflow-maintenance-dags

该插件具有可以终止暂停任务和日志清理的 DAG。
您可以掌握这些概念,并提出一个新的 DAG,可以根据您的要求进行清理。

关于airflow - 删除 Airflow 任务日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43548744/

42 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com