python - Scrapy 请求堆栈溢出

Question

我有以下 while 循环来废弃页面

def after_login(self, response):
    i=100000
    while (i<2000000): 
       yield scrapy.Request("https://www.example.com/foobar.php?nr="+str(i),callback=self.another_login)
       i+=1

问题是进程因堆栈溢出而被终止。有没有办法告诉 while 循环对 1000 个请求进行排队，并在完成这些请求后对另外 1000 个请求进行排队？

Answer 1

您应该尝试一下 Scrapy 设置。例如，尝试减少 CONCURRENT_REQUESTS ，添加DOWNLOAD_DELAY .

如果这没有帮助，请查看 debugging the memory usage ，另请参阅:

• Debugging memory leaks