python - 在远程服务器上自动执行每日 python 进程以提高可靠性

Question

我有一个 python 脚本，每天通过计划任务在本地运行。大多数时候，这很好——除非我在度假并且运行它的计算机需要手动重新启动。或者当我的互联网/电源中断时。

我有兴趣把它放在某种租用的服务器上。我是这方面的新手(从未有过这样的生产型流程)。我找不到任何似乎可以解决此类用例的教程。我将如何安装我的 python 环境以及脚本需要的任何配置、数据文件或程序(例如，它进行一些网络抓取并使用带有已定义用户配置文件的 headless chrome)。

鉴于该计划的性质，我是否可以或是否需要获得一台专用服务器，其环境可以更好地满足我的特定需求？该过程每天运行约 20 秒。

Answer 1

为 20 秒的工作设置一个完整的专用服务器确实是一件次优的事情。我看到了几个选项:

• 获得一个基于云的 VM，它会上下旋转以运行您的进程。这在 Azure、GCP 和 AWS 上实现自动化相对容易。
• 将应用程序与整个环境一起进行 Docker 化，并将其作为镜像在云端运行 - 例如在像 Beanstalk (AWS) 或 App Service (Azure) 这样的服务上——这更复杂，但应该更便宜，因为它消耗更少的资源
• 在 Digital Ocean、Heroku 或 pythonanywhere.com 等服务上获取专用 VM(Droplet？)- 根据脚本的具体情况，设置起来可能非常简单且便宜。我认为对于新手来说，这是最简单、最灵活的解决方案，但这实际上取决于您的脚本 - 您可能会遇到一些限制。

在设置环境方面 - 有多种选择，最常用的是:

• pyenv(我的首选)
• anaconda(非常容易使用)
• 虚拟环境/虚拟环境

要高效地重新创建您的环境，您需要提供一个依赖项列表(您的脚本使用的库)。

步骤总结:

1. 在本地运行$pip freeze > requirements.txt
2. 通过删除脚本未使用的所有包来手动编辑 requirements.txt 文件
3. 通过 pyenv、anaconda 或 venv 创建一个新的虚拟环境，并在任何你想运行脚本的地方激活它
4. 将您的脚本和 requirements.txt 复制到新位置
5. 运行 $pip install -r requirements.txt 安装库
6. 确保脚本在新位置按预期工作
7. 设置 Jade 米作业