python - 如何创建自定义 Scrapy Item Exporter？

Question

我正在尝试创建一个基于 JsonLinesItemExporter 的自定义 Scrapy Item Exporter，这样我就可以稍微改变它生成的结构。

我已阅读此处的文档 http://doc.scrapy.org/en/latest/topics/exporters.html但它没有说明如何创建自定义导出器、将其存储在何处或如何将其链接到您的管道。

我已经确定了如何使用 Feed Exporter 进行定制，但这不符合我的要求，因为我想从我的管道中调用这个导出器。

这是我想出的代码，它存储在项目根目录中名为 exporters.py

的文件中

from scrapy.contrib.exporter import JsonLinesItemExporter

class FanItemExporter(JsonLinesItemExporter):

    def __init__(self, file, **kwargs):
        self._configure(kwargs, dont_fail=True)
        self.file = file
        self.encoder = ScrapyJSONEncoder(**kwargs)
        self.first_item = True

    def start_exporting(self):
        self.file.write("""{
            'product': [""")

    def finish_exporting(self):
        self.file.write("]}")

    def export_item(self, item):
        if self.first_item:
            self.first_item = False
        else:
            self.file.write(',\n')
        itemdict = dict(self._get_serialized_fields(item))
        self.file.write(self.encoder.encode(itemdict))

我只是尝试使用 FanItemExporter 从我的管道调用它并尝试导入的变体，但它没有产生任何结果。

Answer 1

的确，Scrapy 文档并没有明确说明在何处放置 Item Exporter。要使用 Item Exporter，请遵循以下步骤。

1. 选择一个 Item Exporter 类并将其导入到项目目录中的 pipeline.py 中。它可以是预定义的 Item Exporter(例如 XmlItemExporter)或用户定义的(如问题中定义的 FanItemExporter)
2. 在 pipeline.py 中创建一个 Item Pipeline 类。在此类中实例化导入的 Item Exporter。详情会在后面的回答中说明。
3. 现在，在 settings.py 文件中注册这个管道类。

以下是每个步骤的详细说明。每个步骤都包含问题的解决方案。

第一步

• 如果使用预定义的 Item Exporter 类，请从 scrapy.exporters 模块导入它。
  前任:从 scrapy.exporters 导入 XmlItemExporter

• 如果您需要自定义导出器，请在文件中定义自定义类。我建议将类放在 exporters.py 文件中。将此文件放在项目文件夹中(settings.py、items.py 所在的文件夹)。

  在创建新的子类时，导入 BaseItemExporter 始终是个好主意。如果我们打算完全改变功能，那将是恰当的。然而，在这个问题中，大部分功能都接近于 JsonLinesItemExporter。

因此，我附上了同一个 ItemExporter 的两个版本。一个版本扩展了 BaseItemExporter 类，另一个扩展了 JsonLinesItemExporter 类

版本 1:扩展 BaseItemExporter

由于 BaseItemExporter 是父类，start_exporting()、finish_exporting()、export_item() 必须被覆盖以满足我们的需要。

from scrapy.exporters import BaseItemExporter
from scrapy.utils.serialize import ScrapyJSONEncoder
from scrapy.utils.python import to_bytes

class FanItemExporter(BaseItemExporter):

    def __init__(self, file, **kwargs):
        self._configure(kwargs, dont_fail=True)
        self.file = file
        self.encoder = ScrapyJSONEncoder(**kwargs)
        self.first_item = True

    def start_exporting(self):
        self.file.write(b'{\'product\': [')

    def finish_exporting(self):
        self.file.write(b'\n]}')

    def export_item(self, item):
        if self.first_item:
            self.first_item = False
        else:
            self.file.write(b',\n')
        itemdict = dict(self._get_serialized_fields(item))
        self.file.write(to_bytes(self.encoder.encode(itemdict)))

版本 2:扩展 JsonLinesItemExporter

JsonLinesItemExporter 提供了与 export_item() 方法完全相同的实现。因此只有 start_exporting() 和 finish_exporting() 方法被覆盖。

JsonLinesItemExporter 的实现可以在文件夹python_dir\pkgs\scrapy-1.1.0-py35_0\Lib\site-packages\scrapy\exporters.py中看到/p>

from scrapy.exporters import JsonItemExporter

class FanItemExporter(JsonItemExporter):

    def __init__(self, file, **kwargs):
        # To initialize the object using JsonItemExporter's constructor
        super().__init__(file)

    def start_exporting(self):
        self.file.write(b'{\'product\': [')

    def finish_exporting(self):
        self.file.write(b'\n]}')

注意:将数据写入文件时，请务必注意标准 Item Exporter 类需要二进制文件。因此，文件必须以二进制模式打开 (b)。同理，两个版本的write()方法都将bytes写入文件。

第二步

创建项目管道类。

from project_name.exporters import FanItemExporter

class FanExportPipeline(object):
    def __init__(self, file_name):
        # Storing output filename
        self.file_name = file_name
        # Creating a file handle and setting it to None
        self.file_handle = None

    @classmethod
    def from_crawler(cls, crawler):
        # getting the value of FILE_NAME field from settings.py
        output_file_name = crawler.settings.get('FILE_NAME')

        # cls() calls FanExportPipeline's constructor
        # Returning a FanExportPipeline object
        return cls(output_file_name)

    def open_spider(self, spider):
        print('Custom export opened')

        # Opening file in binary-write mode
        file = open(self.file_name, 'wb')
        self.file_handle = file

        # Creating a FanItemExporter object and initiating export
        self.exporter = FanItemExporter(file)
        self.exporter.start_exporting()

    def close_spider(self, spider):
        print('Custom Exporter closed')

        # Ending the export to file from FanItemExport object
        self.exporter.finish_exporting()

        # Closing the opened output file
        self.file_handle.close()

    def process_item(self, item, spider):
        # passing the item to FanItemExporter object for expoting to file
        self.exporter.export_item(item)
        return item

第三步

由于定义了项目导出管道，因此在 settings.py 文件中注册此管道。还将字段 FILE_NAME 添加到 settings.py 文件。该字段包含输出文件的文件名。

将以下行添加到 settings.py 文件。

FILE_NAME = 'path/outputfile.ext'
ITEM_PIPELINES = {
    'project_name.pipelines.FanExportPipeline' : 600,
}

如果 ITEM_PIPELINES 已取消注释，则将以下行添加到 ITEM_PIPELINES 字典中。

'project_name.pipelines.FanExportPipeline': 600,

这是创建自定义项目导出管道的一种方法。