python - 如何在 scrapy 项目导出中每次都覆盖文件？

Question

我正在抓取一个返回 urls 列表的网站。示例 - scrapy crawl xyz_spider -o urls.csv

它工作得非常好，现在我想要的是制作新的 urls.csv 而不是将 data 附加到文件中。我可以传递任何参数来启用它吗？

Answer 1

不幸的是，scrapy 目前无法做到这一点。
虽然在 github 上有一个建议的增强功能:https://github.com/scrapy/scrapy/issues/547

但是您可以轻松地将输出重定向到标准输出并将其重定向到文件:

scrapy crawl myspider -t json --nolog -o - > output.json

-o - 表示输出到 minus，这里的 minus 表示标准输出。
您还可以在运行 scrapy 之前创建一些别名来删除文件，例如:

alias sc='-rm output.csv && scrapy crawl myspider -o output.csv'