python - scrapy外壳: output result to file

Question

如何在 scrapy shell 中将结果输出到文件，最好是 csv？

我的 bpython shell 中有一个有趣元素的列表，我可以用它们制作 item 。但如何将其重定向到文件呢？

Answer 1

进入 shell 后，您可以使用 Python 执行任何您想做的操作。这包括使用json从文件读取数据/向文件写入数据。或csv例如，模块。

但是，由于我们正在讨论 Scrapy 和 csv，所以我们使用 Scrapy 的 CsvItemExporter完成工作:

from scrapy.exporters import CsvItemExporter
items = [{'one': 'data', 'two': 'more data'}, {'one': 'info', 'two': 'more info'}]
with open('data.csv', 'w') as f:
    exporter = CsvItemExporter(file=f, fields_to_export=['one', 'two'])
    exporter.start_exporting()
    for i in items:
        exporter.export_item(i)
    exporter.finish_exporting()

这是 Scrapy 的精简版本，当您向 crawl 命令添加 -o 选项以将输出保存到文件时。