python - 将 scrapy 对象导出到每个项目的一个文件中

Question

我正在使用 scrapy 获取一些网页的内容。有没有办法配置 scrapy 以便将每条数据线导出到一个单独的文件中？

Answer 1

您可以在蜘蛛中生成项目以返回多个项目以在您的管道中处理。

class SomeSpider(Spider):

  ...

  def parse(self, response):
    # some code to parse the webpage

    for some_line in webpage:
        item = YourItem()
        # parse items

        yield item

这将为一个抓取的页面返回多个项目。然后只需指定您的管道将每个项目写入一个单独的文件。

class SomePipeline(object):

  ...      

  def process_item(self, item, spider):
      with open('file.txt', 'w') as f:

          # format your item into a line here

          f.write(line)