linux - 如何使用 scrapy 命令动态创建 Feed Export 的文件名

Question

这是运行我的爬虫的命令。

scrapy crawl monitor -a filename="ScrapeProject.csv" -o filename.csv

它运行并将抓取的数据保存到 filename.csv

我想安排为 cronjob 我希望 filename.csv 成为爬虫运行的当前日期时间。

我试过反引号但没用

scrapy crawl monitor -a filename="ScrapeProject.csv" -o `date`.csv

也试过这样

scrapy crawl monitor -a filename="ScrapeProject.csv" -o "date".csv

编辑:

下面是我根据@dps 的建议运行的命令，但它提示我输入一些东西？

root@ubuntu:/home/mani/pricemonitor# scrapy crawl monitor -a filename="ScrapeProject.csv" -o `date +\%m`.`date +\%d`.`date +\%y`.csv`
> 
>

Answer 1

Scrapy Feed Exports也看懂了(有些内置)storage URI parameters开箱即用。

%(time)s 就是其中之一。

所以你可以这样做:

scrapy crawl monitor -a filename="ScrapeProject.csv" -o '%(time)s.csv'

这将以 YYYY-mm-ddTHH-MM-SS 的形式创建输出文件，例如2017-05-11T12-12-18.csv。

在内部，time is converted使用 datetime.utcnow().replace(microsecond=0).isoformat().replace(':', '-')。

注意:您可以在您的 Feed URI 中使用任何蜘蛛属性(您使用 -o 设置的)。请记住 any spider argument (您可以使用 -a key=value 添加到命令行的内容)将作为蜘蛛参数(作为字符串)提供。