- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章利用 Python 实现多任务进程由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
进程:正在执行的程序,由程序、数据和进程控制块组成,是正在执行的程序,程序的一次执行过程,是资源调度的基本单位.
程序:没有执行的代码,是一个静态的.
。
由图可知:此时电脑有 9 个应用进程,但是一个进程又会对应于多个线程,可以得出结论:
进程:能够完成多任务,一台电脑上可以同时运行多个 QQ 。
线程:能够完成多任务,一个 QQ 中的多个聊天窗口 。
根本区别:进程是操作系统资源分配的基本单位,而线程是任务调度和执行的基本单位. 。
。
首先由于进程中 GIL 的存在,Python 中的多线程并不能很好地发挥多核优势,一个进程中的多个线程,在同 一时刻只能有一个线程运行。而对于多进程来说,每个进程都有属于自己的 GIL,所以,在多核处理器下,多进程的运行是不会受 GIL的影响的。因此,多进 程能更好地发挥多核的优势.
当然,对于爬虫这种 IO 密集型任务来说,多线程和多进程影响差别并不大。对于计算密集型任务来说,Python 的多进程相比多线 程,其多核运行效率会有成倍的提升.
。
我们先用一个实例来感受一下:
import multiprocessing def process(index): print(f'Process: {index}') if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=process, args=(i,)) p.start()
这是一个实现多进程最基础的方式:通过创建 Process 来新建一个子进程,其中 target 参数传入方法名,args 是方法的参数,是以 元组的形式传入,其和被调用的方法 process 的参数是一一对应的.
注意:这里 args 必须要是一个元组,如果只有一个参数,那也要在元组第一个元素后面加一个逗号,如果没有逗号则 和单个元素本身没有区别,无法构成元组,导致参数传递出现问题。创建完进程之后,我们通过调用 start 方法即可启动进程了.
运行结果如下:
Process: 0 Process: 1 Process: 2 Process: 3 Process: 4 。
可以看到,我们运行了 5 个子进程,每个进程都调用了 process 方法。process 方法的 index 参数通过 Process 的 args 传入,分别是 0~4 这 5 个序号,最后打印出来,5 个子进程运行结束.
from multiprocessing import Process import time class MyProcess(Process): def __init__(self,loop): Process.__init__(self) self.loop = loop def run(self): for count in range(self.loop): time.sleep(1) print(f'Pid:{self.pid} LoopCount: {count}') if __name__ == '__main__': for i in range(2,5): p = MyProcess(i) p.start()
我们首先声明了一个构造方法,这个方法接收一个 loop 参数,代表循环次数,并将其设置为全局变量。在 run方法中,又使用这 个 loop 变量循环了 loop 次并打印了当前的进程号和循环次数.
在调用时,我们用 range 方法得到了 2、3、4 三个数字,并把它们分别初始化了 MyProcess 进程,然后调用 start 方法将进程启动起 来.
注意:这里进程的执行逻辑需要在 run 方法中实现,启动进程需要调用 start 方法,调用之后 run 方法便会执行.
运行结果如下:
Pid:12976 LoopCount: 0 Pid:15012 LoopCount: 0 Pid:11976 LoopCount: 0 Pid:12976 LoopCount: 1 Pid:15012 LoopCount: 1 Pid:11976 LoopCount: 1 Pid:15012 LoopCount: 2 Pid:11976 LoopCount: 2 Pid:11976 LoopCount: 3 。
注意:这里的进程 pid 代表进程号,不同机器、不同时刻运行结果可能不同.
。
from multiprocessing import Queue import multiprocessing def download(p): # 下载数据 lst = [11,22,33,44] for item in lst: p.put(item) print('数据已经下载成功....') def savedata(p): lst = [] while True: data = p.get() lst.append(data) if p.empty(): break print(lst) def main(): p1 = Queue() t1 = multiprocessing.Process(target=download,args=(p1,)) t2 = multiprocessing.Process(target=savedata,args=(p1,)) t1.start() t2.start() if __name__ == '__main__': main() 数据已经下载成功.... [11, 22, 33, 44]
import multiprocessing a = 1 def demo1(): global a a += 1 def demo2(): print(a) def main(): t1 = multiprocessing.Process(target=demo1) t2 = multiprocessing.Process(target=demo2) t1.start() t2.start() if __name__ == '__main__': main()
运行结果
1 。
有结果可知:全局变量不共享,
。
当需要创建的子进程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程,但是如果是上百甚至上千个目标,手动的去创建的进程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法.
from multiprocessing import Pool import os,time,random def worker(a): t_start = time.time() print('%s开始执行,进程号为%d'%(a,os.getpid())) time.sleep(random.random()*2) t_stop = time.time() print(a,"执行完成,耗时%0.2f"%(t_stop-t_start)) if __name__ == '__main__': po = Pool(3) # 定义一个进程池 for i in range(0,10): po.apply_async(worker,(i,)) # 向进程池中添加worker的任务 print("--start--") po.close() po.join() print("--end--")
运行结果
--start-- 0开始执行,进程号为6664 1开始执行,进程号为4772 2开始执行,进程号为13256 0 执行完成,耗时0.18 3开始执行,进程号为6664 2 执行完成,耗时0.16 4开始执行,进程号为13256 1 执行完成,耗时0.67 5开始执行,进程号为4772 4 执行完成,耗时0.87 6开始执行,进程号为13256 3 执行完成,耗时1.59 7开始执行,进程号为6664 5 执行完成,耗时1.15 8开始执行,进程号为4772 7 执行完成,耗时0.40 9开始执行,进程号为6664 6 执行完成,耗时1.80 8 执行完成,耗时1.49 9 执行完成,耗时1.36 --end-- 。
一个进程池只能容纳 3 个进程,执行完成才能添加新的任务,在不断的打开与释放的过程中循环往复.
。
操作思路
代码如下
导包 。
import multiprocessing import os import time
定制文件复制函数 。
def copy_file(Q,oldfolderName,newfolderName,file_name): # 文件复制,不需要返回 time.sleep(0.5) # print('\r从%s文件夹复制到%s文件夹的%s文件'%(oldfolderName,newfolderName,file_name),end='') old_file = open(oldfolderName + '/' + file_name,'rb') # 待复制文件 content = old_file.read() old_file.close() new_file = open(newfolderName + '/' + file_name,'wb') # 复制出的新文件 new_file.write(content) new_file.close() Q.put(file_name) # 向Q队列中添加文件
定义主函数 。
def main(): oldfolderName = input('请输入要复制的文件夹名字:') # 步骤1获取要复制文件夹的名字(可以手动创建,也可以通过代码创建,这里我们手动创建) newfolderName = oldfolderName + '复件' # 步骤二 创建一个新的文件夹 if not os.path.exists(newfolderName): os.mkdir(newfolderName) filenames = os.listdir(oldfolderName) # 3.获取文件夹里面所有待复制的文件名 # print(filenames) pool = multiprocessing.Pool(5) # 4.创建进程池 Q = multiprocessing.Manager().Queue() # 创建队列,进行通信 for file_name in filenames: pool.apply_async(copy_file,args=(Q,oldfolderName,newfolderName,file_name)) # 5.向进程池添加任务 po.close() copy_file_num = 0 file_count = len(filenames) # 不知道什么时候完成,所以定义一个死循环 while True: file_name = Q.get() copy_file_num += 1 time.sleep(0.2) print('\r拷贝进度%.2f %%'%(copy_file_num * 100/file_count),end='') # 做一个拷贝进度条 if copy_file_num >= file_count: break
程序运行 。
if __name__ == '__main__': main()
运行结果如下图所示:
运行前后文件目录结构对比 。
到此这篇关于利用 Python 实现多任务进程的文章就介绍到这了,更多相关 Python 实现多任务进程内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。
原文链接:https://developer.51cto.com/art/202110/685495.htm 。
最后此篇关于利用 Python 实现多任务进程的文章就讲到这里了,如果你想了解更多关于利用 Python 实现多任务进程的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我是 Linux 的新手,并且继承了保持我们的单一 Linux 服务器运行的职责。这是我们的SVN服务器,所以比较重要。 原来在我之前维护它的人有一个 cron 任务,当有太多 svnserve 进程
Node 虽然自身存在多个线程,但是运行在 v8 上的 JavaScript 是单线程的。Node 的 child_process 模块用于创建子进程,我们可以通过子进程充分利用 CPU。范例:
Jenkins 有这么多进程处于事件状态是否正常? 我检查了我的设置,我只配置了 2 个“执行者”... htop http://d.pr/i/RZzG+ 最佳答案 您不仅要限制 Master 中的执
我正在尝试在 scala 中运行这样的 bash 命令: cat "example file.txt" | grep abc Scala 有一个特殊的流程管道语法,所以这是我的第一个方法: val f
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
我需要一些帮助来理解并发编程的基础知识。事实上,我读得越多,就越感到困惑。因此,我理解进程是顺序执行的程序的一个实例,并且它可以由一个或多个线程组成。在单核CPU中,一次只能执行一个线程,而在多核CP
我的问题是在上一次集成测试后服务器进程没有关闭。 在integration.rs中,我有: lazy_static! { static ref SERVER: Arc> = {
我正在使用 Scala scala.sys.process图书馆。 我知道我可以用 ! 捕获退出代码和输出 !!但是如果我想同时捕获两者呢? 我看过这个答案 https://stackoverflow
我正在开发一个C++类(MyClass.cpp),将其编译为动态共享库(MyClass.so)。 同一台Linux计算机上运行的两个不同应用程序将使用此共享库。 它们是两个不同的应用程序。它不是多线程
我在我的 C 程序中使用 recvfrom() 从多个客户端接收 UDP 数据包,这些客户端可以使用自定义用户名登录。一旦他们登录,我希望他们的用户名与唯一的客户端进程配对,这样服务器就可以通过数据包
如何更改程序,以便函数 function_delayed_1 和 function_delayed_2 仅同时执行一次: int main(int argc, char *argv[]) {
考虑这两个程序: //in #define MAX 50 int main(int argc, char* argv[]) { int *count; int fd=shm
请告诉我如何一次打开三个终端,这样我的项目就可以轻松执行,而不必打开三个终端三次然后运行三个exe文件。请问我们如何通过脚本来做到这一点,即打开三个终端并执行三个 exe 文件。 最佳答案 在后台运行
我编写了一个监控服务来跟踪一组进程,并在服务行为异常、内存使用率高、超出 CPU 运行时间等时发出通知。 这在我的本地计算机上运行良好,但我需要它指向远程机器并获取这些机器上的进程信息。 我的方法,在
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 8年前关闭。 Improve this qu
我有一个允许用户上传文件的应用程序。上传完成后,必须在服务器上完成许多处理步骤(解压、存储、验证等...),因此稍后会在一切完成后通过电子邮件通知用户。 我见过很多示例,其中 System.Compo
这个问题对很多人来说可能听起来很愚蠢,但我想对这个话题有一个清晰的理解。例如:当我们在 linux(ubuntu, x86) 上构建一个 C 程序时,它会在成功编译和链接过程后生成 a.out。 a.
ps -eaf | grep java 命令在这里不是识别进程是否是 java 进程的解决方案,因为执行此命令后我的许多 java 进程未在输出中列出。 最佳答案 简答(希望有人写一个更全面的): 获
我有几个与内核态和用户态的 Windows 进程相关的问题。 如果我有一个 hello world 应用程序和一个暴露新系统调用 foo() 的 hello world 驱动程序,我很好奇在内核模式下
我找不到很多关于 Windows 中不受信任的完整性级别的信息,对此有一些疑问: 是否有不受信任的完整性级别进程可以创建命名对象的地方? (互斥锁、事件等) 不受信任的完整性级别进程是否应该能够打开一
我是一名优秀的程序员,十分优秀!