python - 记录在scrapy中运行一个spider的总时间

Question

我正在使用 scrapy 抓取网站

我写了一个蜘蛛程序并从页面中获取所有项目并保存到一个 csv 文件中，现在我想保存 scrapy 运行蜘蛛文件所花费的总执行时间，实际上在蜘蛛执行完成后，当我们在终端时它会显示一些结果像 starttime, endtime 等等....所以现在在我的程序中我需要计算 scrapy 运行蜘蛛所花费的总时间并将总时间存储在某个地方....

谁能告诉我现在如何通过一个例子来做到这一点.......

提前致谢......

Answer 1

这可能有用:

from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals
from scrapy.stats import stats
from datetime import datetime

def handle_spider_closed(spider, reason):
    print 'Spider closed:', spider.name, stats.get_stats(spider)
    print 'Work time:', datetime.now() - stats.get_stats(spider)['start_time']


dispatcher.connect(handle_spider_closed, signals.spider_closed)