gpt4 book ai didi

python - Scrapyd:如何设置scrapyd任务优先级?

转载 作者:太空狗 更新时间:2023-10-30 02:04:38 25 4
gpt4 key购买 nike

我有几个 scrapy 项目。我用 scrapyd 部署了所有这些。有些蜘蛛速度慢,有些速度快。现在,我想先运行快速蜘蛛。怎么办?

最佳答案

我遇到了同样的问题。但是看了scrapyd的源码,好像scrapyd可以搞定。然而,这没有记录在案。

您需要添加一个名为 priority 的参数,并具有所需的值。默认优先级为 0。

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1

关于python - Scrapyd:如何设置scrapyd任务优先级?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18866890/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com