python - 如何获取Python Scrapy工具抓取的Item数量？

Question

我正在使用 Python Scrapy 工具从网站提取数据。我能够抓取数据。现在我想要从特定网站抓取的项目数。如何获取已抓取的项目数量？ Scrapy 中有一些内置的类吗？任何帮助将不胜感激。谢谢..

Answer 1

基于示例here ，我这样解决了同样的问题:

1.编写一个像这样的自定义网络服务来计算下载的项目:

from scrapy.webservice import JsonResource
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher


class ItemCountResource(JsonResource):

    ws_name = 'item_count'

    def __init__(self, crawler, spider_name=None):
        JsonResource.__init__(self, crawler)
        self.item_scraped_count = 0
        dispatcher.connect(self.scraped, signals.item_scraped)
        self._spider_name = spider_name
        self.isLeaf = spider_name is not None

    def scraped(self):
        self.item_scraped_count += 1

    def render_GET(self, txrequest):
        return self.item_scraped_count

    def getChild(self, name, txrequest):
        return ItemCountResource(name, self.crawler)

2.在settings.py中注册服务，如下所示:

WEBSERVICE_RESOURCES = {
    'path.to.ItemResource.ItemCountResource': 1,
}

3.visite http://localhost:6080/item_count 将抓取该项目。