python - Scrapyd:如何设置scrapyd任务优先级？

Question

我有几个 scrapy 项目。我用 scrapyd 部署了所有这些。有些蜘蛛速度慢，有些速度快。现在，我想先运行快速蜘蛛。怎么办？

Answer 1

我遇到了同样的问题。但是看了scrapyd的源码，好像scrapyd可以搞定。然而，这没有记录在案。

您需要添加一个名为 priority 的参数，并具有所需的值。默认优先级为 0。

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1