python - 使用 scrapyd 运行多个爬虫

Question

我的项目中有多个蜘蛛，因此决定通过上传到 scrapyd 服务器来运行它们。我已经成功上传了我的项目，当我运行命令时我可以看到所有的蜘蛛

curl http://localhost:6800/listspiders.json?project=myproject

当我运行以下命令时

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

只有一个蜘蛛运行，因为只给出了一个蜘蛛，但我想在这里运行多个蜘蛛，所以下面的命令适合在 scrapyd 中运行多个蜘蛛？

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider1,spider2,spider3........

稍后我将使用 cron 作业运行此命令我的意思是我会安排它经常运行

Answer 1

如果你想使用 scrapyd 运行多个蜘蛛，一个一个地安排它们。 scrapyd 将以相同的顺序运行它们，但不会同时运行。

另请参阅:Scrapy 's Scrapyd too slow with scheduling spiders