python - 通过 Scrapy 存储抓取的数据

Question

如何将整个抓取的数据存储在文件中？例如:抓取的数据是[u\7564.2021]，但是json文件中存储的数据只有[

哪里出了问题？

Answer 1

我发现这个线程是因为我使用 scrapy 命令行导出选项遇到了这个确切的问题(在 scrapy 0.15.1 概述中找到了这个: http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data )，“scrapycrawl mininova.org -o scraped_data.json -t json” .

您必须首先确保数据实际上是从站点中抓取的(我通过将抓取的项目直接打印到控制台窗口来做到这一点)。

还要确保您的蜘蛛的解析方法实际上返回了抓取的项目。这是我犯的一个愚蠢的错误。

如果没有更多信息或您的代码，很难说更多。我对 Python 和 scrapy 都很陌生，正在研究有时令人困惑的文档和示例。希望你在过去的几个月里没有放弃这个项目；否则我会为 future 的 Google 员工发帖。