scrapy - 在 scrapy 管道中使用 scrapyd 作业 ID

Question

我已经实现了一个使用 scrapyd API 触发 scrapy 蜘蛛的 Web 应用程序(Web 应用程序和 scrapyd 在同一服务器上运行)。

我的网络应用程序将从 scrapyd 返回的作业 ID 存储在数据库中。我的蜘蛛正在数据库中存储项目。

问题是:如何在数据库中链接 scrapyd 发出的作业 ID 和爬行发出的项目？

我可以使用额外的参数触发我的蜘蛛 - 比如说我的网络应用程序生成的 ID - 但我不确定这是最好的解决方案。最后，如果 scrapyd 已经发出了该 ID，则无需创建该 ID...

感谢您的帮助

Answer 1

问题应该表述为“如何在运行时获取 scrapyd 任务的作业 ID？”

当 scrapyd 运行蜘蛛时，它实际上向蜘蛛提供作业 ID 作为参数。应始终作为 sys.args 的最后一个参数。

此外，os.environ['SCRAPY_JOB'] 应该可以解决问题。