python - Scrapy csv 输出 "randomly"缺少字段

Question

我的 scrapy 爬虫正确读取了调试输出显示的所有字段:

2017-01-29 02:45:15 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.willhaben.at/iad/immobilien/mietwohnungen/niederoesterreich/krems-an-der-donau/altbauwohnung-wg-geeignet-donaublick-189058451/>
{'Heizung': 'Gasheizung', 'whCode': '189058451', 'Teilmöbliert / Möbliert': True, 'Wohnfläche': '105', 'Objekttyp': 'Zimmer/WG', 'Preis': 1050.0, 'Miete (inkl. MWSt)': 890.0, 'Stockwerk(e)': '2', 'Böden': 'Laminat', 'Bautyp': 'Altbau', 'Zustand': 'Sehr gut/gut', 'Einbauküche': True, 'Zimmer': 3.0, 'Miete (exkl. MWSt)': 810.0, 'Befristung': 'nein', 'Verfügbar': 'ab sofort', 'zipcode': 3500, 'Gesamtbelastung': 1150.0}

但是当我使用命令行选项输出 csv 时

scrapy crawl mietwohnungen -o mietwohnungen.csv --logfile=mietwohnungen.log

某些字段缺失，如输出文件中的相应行所示:

Keller,whCode,Garten,Zimmer,Terrasse,Wohnfläche,Parkplatz,Objekttyp,Befristung,zipcode,Preis
,189058451,,3.0,,105,,Zimmer/WG,nein,3500,1050.0

示例中缺少的字段是:Heizung、Teilmöbliert/Möbliert、Miete (inkl.MWSt)、Stockwerk(e)、Böden、Bautyp、Zustand、Einbauküche、Miete (exkl.MWSt)、Verfügbar、Gesamtbelastung

这发生在我抓取的一些值上。需要注意的一件事是，并非每个页面都包含相同的字段，因此我根据页面生成字段名称。我创建了一个字典，其中包含所有存在的字段和最后的 yield。这与 DEBUG 输出显示的一样。但是，有些 csv 列似乎没有打印出来。

如您所见，有些列是空白的，因为其他页面显然有这些字段(在示例“Keller”中)。

如果我使用较小的列表进行抓取，则抓取器会起作用(例如，优化我的初始搜索选择，同时在结果中保留一些有问题的页面):

Heizung,Zimmer,Bautyp,Gesamtbelastung,Einbauküche,Miete (exkl. MWSt),Zustand,Miete (inkl. MWSt),zipcode,Teilmöbliert / Möbliert,Objekttyp,Stockwerk(e),Böden,Befristung,Wohnfläche,whCode,Preis,Verfügbar
Gasheizung,3.0,Altbau,1150.0,True,810.0,Sehr gut/gut,890.0,3500,True,Zimmer/WG,2,Laminat,nein,105,189058451,1050.0,ab sofort

我已经换成 python3 来避免任何 unicode 字符串问题。

这是一个错误吗？这似乎也只影响 csv 输出，如果我输出到 xml，所有字段都会被打印。

我不明白为什么它不适用于完整列表。手动编写 csv 导出器真的是唯一的解决方案吗？

Answer 1

如果您将抓取的结果作为字典生成，CSV 列将从第一个生成的字典的键中填充:

def _write_headers_and_set_fields_to_export(self, item):
    if self.include_headers_line:
        if not self.fields_to_export:
            if isinstance(item, dict):
                # for dicts try using fields of the first item
                self.fields_to_export = list(item.keys())
            else:
                # use fields declared in Item
                self.fields_to_export = list(item.fields.keys())
        row = list(self._build_row(self.fields_to_export))
        self.csv_writer.writerow(row)

因此，您应该使用明确定义的所有字段定义和填充 Item，或者编写自定义 CSVItemExporter。