Scrapy CPU 使用率高

Question

我有一个非常简单的测试蜘蛛，它不进行解析。但是，我在 start_requests 方法中将大量 url (500k) 传递给蜘蛛，并看到 CPU 使用率非常高 (99/100%)。这是预期的行为吗？如果是这样，我该如何优化它(也许批处理和使用spider_idle？)

class TestSpider(Spider):

    name = 'test_spider'
    allowed_domains = 'mydomain.com'

    def __init__(self, **kw):
        super(Spider, self).__init__(**kw)
        urls_list = kw.get('urls')
        if urls_list:
            self.urls_list = urls_list

    def parse(self, response):
        pass

    def start_requests(self):
        with open(self.urls_list, 'rb') as urls:
            for url in urls:
                yield Request(url, self.parse)

Answer 1

我认为这里的主要问题是您抓取了太多链接，请尝试添加规则以避免抓取不包含您想要的内容的链接。

Scrapy 提供了非常有用的文档，请查看它们!: http://doc.scrapy.org/en/latest/topics/spiders.html