python - scrapy job被删除之前被删除之后会发生什么

Question

在 Scrapy Cloud 中，一个 job可以是deleted 。首先，它的状态会改变，但数据将可用 - 项目数据，job.metadata , items.stats 。具体删除过程是怎样的？所有数据多久会被删除？

Answer 1

Scrapy Cloud 中的作业删除是一个异步过程:首先，作业仅被标记为已删除，并包含所有可用数据，然后在 7 天后在服务器端清除(使用 cron 作业)。通过这种方式实现是为了有最后的机会恢复误删除的作业或保存一些重要数据。

此外，上下文中的清除仅与作业数据(请求/项目/日志/样本)相关，而作业元数据和统计信息目前无限期存储(尽管您不应该依赖于此，但可以在任何给定时刻)。