python - 如何加载带参数的起始 URL？

Question

假设我的起始 URL 分别与一个 ID 配对，例如 (http://www.foo.com, 53453)。有没有办法在给定响应的情况下读取 parse() 中的 id(假设 response.url 是起始 URL)？有没有办法给响应一个自定义的“有效负载”？我知道我可以进行数据库查找，但我想知道它是否可以在内存中完成。

谢谢

Answer 1

覆盖 start_requests() method和 yield Request 实例在 meta 中传递 id词典:

class MySpider(Spider):
    def start_requests(self):
        items = get_url_and_ids_from_db()
        for url, id in items:
            yield Request(url, meta={'id': id})

    def parse(self, response):
        id = response.meta['id']
        ...

---

或者，您可以在 __init__() 中从数据库中获取 url->id 映射，并通过 response.url 获取 id > 在 parse() 方法中:

class MySpider(Spider):
    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)

        self.mapping = get_url_id_mapping_from_db()

        self.start_urls = mapping.keys()

    def parse(self, response):
        id = self.mapping[response.url]
        ...