gpt4 book ai didi

scrapy - 让 Scrapy 从上一个断点继续爬行

转载 作者:行者123 更新时间:2023-12-04 19:08:37 29 4
gpt4 key购买 nike

我正在使用scrapy 来抓取网站,但发生了不好的事情(断电等)。

我想知道我怎样才能从它坏了的地方继续爬行。我不想从种子开始。

最佳答案

这可以通过将预定的请求持久化到磁盘来完成。

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

http://doc.scrapy.org/en/latest/topics/jobs.html想要查询更多的信息。

关于scrapy - 让 Scrapy 从上一个断点继续爬行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18297953/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com