个人中心
gpt4 book ai didi

Python爬虫定时计划任务的几种常见方法(推荐)

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 25 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python爬虫定时计划任务的几种常见方法(推荐)由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

记得以前的Windows任务定时是可以正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。接下来记录下Python爬虫定时任务的几种解决方法.

1.方法1、while True

首先最容易的是while true死循环挂起，不废话，直接上代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import os
import time
import sys
from datetime import datetime, timedelta
def One_Plan():
   # 设置启动周期
   Second_update_time = 24 * 60 * 60
  # 当前时间
  now_Time = datetime.now()
  # 设置 任务启动时间
  plan_Time = now_Time.replace(hour = 9 , minute = 0 , second = 0 , microsecond = 0 )
  # 设置差值，-1 day, 21:48:53.246576，类似于这样
  # time.sleep()需要传入int，所以下面使用.total_seconds()
  # 主要用来计算差值，返回int，具体功能可以自行查阅相关资料
  delta = plan_Time - now_Time
  first_plan_Time = delta.total_seconds() % Second_update_time
  print ( "距离第一次执行需要睡眠%d秒" % first_plan_Time)
  return first_plan_Time
# while Ture代码块，挂起程序，睡眠时间结束后调用函数名进行执行
while True :
  s1 = One_Plan()
  time.sleep(s1)
  # 下面这里是自己定义的函数，想跑代码的可以换成hellow world函数或者注释掉这行测试下
  exe_file(D_list)
  print ( "正在执行首次更新程序" )

个人感觉使用这种方式进行定时计划的启动如果为单个程序，并且一天执行一次的话没什么问题，如果要考虑到一天执行多个任务并且一天需要执行多次，短板一下就凸显出来了.

在工作的情况中还需要考虑到很多因素，比如爬虫程序需要在晚上12点和早上6点、9点，下午3点执行四次，并且需要同时执行4个爬虫，还需要考虑到网络是否稳定，如果程序挂掉该怎么处理等等因素.

2.方法2、Timer模块

之前说了最简单的定时启动，可以说是最简单粗暴的，人生苦短，python优雅，有没有那种很简单很简单，几行代码就可以搞定的那种？必须有的哈！简单举个例子说一下，上一个方法的末尾提到过需要考虑到其他因素，这就来了:

现在需要启动一个selenium的爬虫，使用火狐驱动+多线程，大家都明白的，现在电脑管家显示CPU占用率20%，启动selenium后不停的开启浏览器+多线程，好，没过5分钟，CPU占用率直接拉到90%+，电脑卡到飞起，定时程序虽然还在运行，但是已经类似于待机状态，是不是突然感觉到面对电脑卡死，第一反应：卧槽，这个lj电脑，怎么程序都跑不起来，我还写这么多代码，*****！！ 。

是吧，接下来上代码，具体功能，请自行查阅相关资料深造:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from datetime import datetime
from threading import Timer
import time
# 定时任务
def task():
  print (datetime.now().strftime( "%Y-%m-%d %H:%M:%S" ))
def timedTask():
  '''
  第一个参数: 延迟多长时间执行任务(秒)
  第二个参数: 要执行的函数
  第三个参数: 调用函数的参数(tuple)
  '''
  Timer( 5 , task, ()).start()
while True :
  timedTask()
  time.sleep( 5 )

7行代码，是不是很优雅？优不优雅的主要是代码少，不费劲对吧.

2020-06-05 14:06:39  2020-06-05 14:06:44  2020-06-05 14:06:49  2020-06-05 14:06:54  2020-06-05 14:06:59  2020-06-05 14:07:04  2020-06-05 14:07:09  2020-06-05 14:07:14  2020-06-05 14:07:19  2020-06-05 14:07:24 。

3. 方法3、sched模块

这次直接上模块——sched模块 。

代码如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from datetime import datetime
import sched
import time
def timedTask():
  # 初始化 sched 模块的 scheduler 类,传入(time.time, time.sleep)这两个参数
  schedscheduler = sched.scheduler(time.time, time.sleep)
  # 增加调度任务，enter(睡眠时间，执行级别，执行函数)
  scheduler.enter( 5 , 1 , task)
  # 运行任务
  scheduler.run()
# 定时任务
def task():
  print (datetime.now().strftime( "%Y-%m-%d %H:%M:%S" ))
if __name__ = = '__main__' :
  timedTask()

这个模块也很容易上手，需要注意，scheduler()只会执行一次就结束程序，可以在mian下面添加while Ture或者直接添加调度任务在timeTask中就可以，另外除了这样的写法外，还有另外一种写法，上代码:

?
1
2
3
4
5
6
7
8
9
10
11
import schedule
import time
def hellow():
  print ( 'hellow' )
def Timer():
  schedule.every().day.at( "09:00" ).do(hellow)
  schedule.every().day.at( "18:00" ).do(hellow)
  while True :
   schedule.run_pending()
   time.sleep( '需要睡眠的周期' )
Timer()

Python爬虫定时计划任务的几种常见方法(推荐)

在这里可以看到，有day-hour-minute，定时任务非常的方便，在while True里添加需要睡眠的时间，在函数模块内添加需要执行的次数即可.

到此这篇关于Python爬虫定时计划任务的几种常见方法的文章就介绍到这了,更多相关Python爬虫定时计划任务内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。

原文链接：http://developer.51cto.com/art/202101/640900.htm 。

最后此篇关于Python爬虫定时计划任务的几种常见方法(推荐)的文章就讲到这里了,如果你想了解更多关于Python爬虫定时计划任务的几种常见方法(推荐)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

25 4 0
文章推荐： spring IOC中三种依赖注入方式
文章推荐： Pandas的数据过滤实现
文章推荐： python 如何把docker-compose.yaml导入到数据库相关条目里
文章推荐： pandas针对excel处理的实现
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com