python - 运行时更新 scrapy 蜘蛛

Question

我正在使用 python scrapy 包。有没有办法在蜘蛛运行时更新 scrapy 蜘蛛设置？我尝试了 telnet 控制台并通过以下方式更新设置:

settings.set('AUTOTHROTTLE_ENABLED', False)

当我启动蜘蛛时，“AUTOTHROTTLE_ENABLED”为 True。然而，执行上述命令后，蜘蛛的行为并没有改变。我错过了什么？谢谢!

Answer 1

Scrapy 设置在引擎启动时加载，并且无法即时更改。

我不确定您想要实现什么目标，但您应该考虑调整 download_delay spider attribute在飞行中。

此外，调查 autothrottle extension source code可以帮助您想出更多选择。