python - 如何让爬虫在 cron 作业上运行？

Question

这是我所做的 -1. 为我的爬虫制作一个 bash 脚本

#!/bin/bash

cd /home/john/Desktop/xyz/xyz/
PATH=$PATH:/usr/local/bin
export PATH
scrapy crawl abc

1. 将其添加到我的脚本中

   !/usr/bin/env/python

2. 我的 cron 作业命令PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

   */1 * * * * sh/home/john/Desktop/xyz/xyz/123.sh

这是一个基于 selenium 的爬虫，因此它应该打开浏览器并开始爬网，但它不工作。

输出 - grep CRON/var/log/syslog

CMD (sh/home/john/Desktop/xyz/xyz/123.sh)

我做错了什么？为什么 cron 作业不起作用？

Answer 1

当您运行 selenium 作业时，shell session 需要 X。尝试在 headless mode 中运行 selenium