python - 在 Luigi Visualiser 中保留已完成的管道

Question

我开始将夜间数据管道从可视化 ETL 工具移植到 Luigi，我真的很喜欢有一个可视化工具来查看作业的状态。但是，我注意到在最后一个作业(名为 MasterEnd)完成几分钟后，除了 MasterEnd 之外的所有节点都从图中消失了。这有点不方便，因为我希望看到当天/过去几天的一切都已完成。

此外，如果在可视化工具中我直接转到上一个作业的 URL，它找不到它运行的任何历史记录:Couldn't find task MasterEnd(date=2015-09-17, base_url=http//aws.east.com/, log_dir=/home/ubuntu/logs/)。今天早上我已经验证它运行成功。

需要注意的一件事是，我有一个 cron，每 15 分钟运行一次此管道以检查 S3 上的文件。如果存在，则运行，否则停止。我不确定这是否会导致从可视化工具中删除任务。我注意到它每次运行都会生成一个新的 PID，但我找不到在文档中每天保留一个 PID 的方法。

那么，我的问题是:是否可以在可视化工具中保留当天完成的图表？有没有办法查看过去发生的事情？

感谢所有的帮助

Answer 1

如果这是正确的，我不是 100% 肯定，但这是我首先要尝试的。当你调用 luigi.run 时，传递给它 --scheduler-remove-delay。我猜这是调度程序在其所有依赖项完成后忘记任务之前等待的时间。如果你浏览luigi's source ，默认为 600 秒。例如:

luigi.run(["--workers", "8", "--scheduler-remove-delay","86400")], main_task_cls=task_name)