python - 制作 Python 调度程序的最佳方法

Question

我在 python 2.7 上使用 scrapy 0.20

问题

什么是最好的 python 调度程序。

我的需求

我需要每 3 小时运行一次我的蜘蛛，它是一个 python 脚本。

我的想法

1. 我尝试使用 Windows 7 附带的 Windows 调度程序功能，效果很好。我能够每 3 小时运行一次 python 脚本，但我可能会在 Linux 服务器上部署我的 python 脚本，因此我可能无法使用此选项。
2. 我使用 Quartz-Scheduler 创建了一个 Java 应用程序.它运行良好，但这是第三个库，我的经理可能会拒绝。
3. 我创建了一个 Windows 服务，并让它每三个小时触发一次脚本。它可以工作，但我可能会在 Linux 服务器上部署我的 python 脚本，所以我可能无法使用此选项。

我问的是启动 python 脚本的最佳实践

Answer 1

I tried using windows scheduler features which comes with Windows 7 and it works good.

所以这对你来说已经很好了。很好，无需更改脚本即可自行安排工作。

but I may deploy my python script on Linux server so I may not be able to use this option.

在 Linux 上，您可以使用 cron jobs实现这一目标。

---

另一种方法是让您的脚本一直运行，但在您无所事事的三个小时内暂停它。所以你不需要在目标机器上设置任何东西，只需要在后台运行脚本，它就会继续运行并完成它的工作。

顺便说一句，这正是作业调度程序的工作方式。它们在操作系统启动时提前启动，然后它们会一直运行下去，每隔很短的时间间隔(一分钟左右)它们就会检查列表中是否有任何作业现在需要运行。如果是这种情况，他们会生成一个新进程并运行该作业。

因此，如果您想在 Python 中创建这样的调度程序，您只需让它永远运行，并且每个时间间隔一次(在您的情况下为 3 小时，因为无论如何您只有一个作业)，您就可以开始作业。这可以在一个单独的进程中，在一个单独的线程中，或者间接地在一个使用异步函数的单独线程中。