python - 使用 Scrapy 将数据传递回之前的回调

Question

我需要抓取一个电影共享网站，其中每部电影可以有多集。蜘蛛仍然可以正常工作，但返回的项目有一些缺点。

当蜘蛛访问索引页面时，它会提取观看电影的链接( http://tamnhinso.info/phim/phim-bo/ )，然后它会产生请求以获取电影的放映页面(有很多集)，从那里它会解析链接对于每个剧集，然后尝试对每个剧集 URL 生成 GET 请求。之后，蜘蛛将解析 HTML 响应以获取每集的视频链接。

def start_requests(self):
      for url in self.start_urls:
        yield Request(url=url, callback=self.parse_list_movie)

    def parse_list_movie(self, response):
      movie_urls = LinkExtractor(restrict_xpaths="//div[@class='col-md-2 col-xs-6 movie-item']").extract_links(response)
      for item in movie_urls:
        yield Request(url=item.url, callback=self.parse_movie_info)

      next_page = response.meta.get('next_page')
      num_next_page = 2 if next_page is None else next_page
      next_page_link = "phim/phim-bo/viewbycategory?page="

      if num_next_page <= 40:
        yield response.follow(next_page_link + str(num_next_page), 
                      callback=self.parse_list_movie, meta = {'next_page' : num_next_page + 1})

    def parse_movie_info(self, response):
      l = ItemLoader(item=PhimBoItem(), response=response)
      #some code to retrieve information from that film

      link_film_url = response.xpath("//div[@class='movie-detail']//div[@class='mt-10']/a/@href").extract_first()
      yield scrapy.Request(url=response.urljoin(link_film_url), callback=self.parse_list_episode, meta={"item": l})


    def parse_list_episode(self, response):
        loader = response.meta.get('item')
        script = """
                function main(splash)
                    splash.html5_media_enabled = true
                    splash.private_mode_enabled = false
                    assert(splash:go(splash.args.url))
                    assert(splash:wait(3))
                    return splash:html()
                end
            """
        for episode in LinkExtractor(restrict_xpaths="//div[@class='col-md-6 mt-20 watch-chap']").extract_links(response):
            yield SplashRequest(url=response.urljoin(episode.url), callback=self.parse_link_episode, meta={'item': loader}, endpoint='execute',
                                    args={'lua_source': script,'wait': 5, 'timeout': 3600})

    def parse_link_episode(self, response):
      loader = response.meta.get('item')
      loader.replace_value('episode', self.get_episode(response))
      return loader.load_item()

    def get_episode(self, response):
        l = ItemLoader(item=Episode(), response=response)
        l.add_value('ep_num', response.url, re = r'\-(\d+)')
        l.add_value('link', self.get_link(response))
        return dict(l.load_item())


    def get_link(self, response):
      l = ItemLoader(item=Link(), response=response)
      l.add_xpath('link_360', "//source[@label='360']/@src")
      l.add_xpath('link_720', "//source[@label='720']/@src")
      l.add_xpath('link_1080',  "//source[@label='1080']/@src")

      return dict(l.load_item())

返回的项目将通过项目管道传递并以 json 行格式保存。由于每部电影都有很多集，所以我得到的结果是这样的:

{"id":1, ..., "episode": {"ep_num": "1", "link": "..."}}
{"id":1, ..., "episode": {"ep_num": "2", "link": "..."}}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}

因为传递到管道的项目是电影中每一集的数据。我希望数据看起来像这样:

{"id":1, ..., "episode": [{"ep_num": "1", "link": "..."}, 
                           {"ep_num": "2", "link": "..."}, ...]}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}

我想我需要将数据传递回scrapy中的先前回调，但我不知道如何做到这一点。请帮帮我。我真的很感激。谢谢。

Answer 1

据我所知，至少没有简单的方法可以在解析方法中收集这些响应。

最简单的方法可能是在抓取完成后对项目进行后处理。

如果您等不了那么久，您可以将所请求的 URL 列表作为元数据传递给每个请求。在您的项目管道中，您可以尝试等待所有这些响应，直到进行进一步处理。在这种情况下，您必须确保所有请求实际上都会生成一个项目(即使是那些失败或被丢弃的请求)。

编辑:我刚刚偶然发现了这个库。它可能对您有帮助:https://github.com/rmax/scrapy-inline-requests