gpt4 book ai didi

Python 多处理意外阻塞

转载 作者:太空宇宙 更新时间:2023-11-03 15:13:36 24 4
gpt4 key购买 nike

我在 Linux 环境中使用 apache 和 modpython 运行 python 脚本。它集成在允许文件处理的网络工具中。我的脚本中包含文件处理的部分可能有很长的执行时间。在我的代码的原始版本中,脚本等待文件被处理,最后它返回一些带有链接的 html 以下载生成的文件。

提交.html

<html>
<body>
<form enctype="multipart/form-data" action="./my_script.py/main" method="post">
<div> <input type="file" name="file"> </div>
<div> <input type="submit" value="Upload"> </div>
</body>
</html>

我的脚本.py

def main(file):
process(file)
return "<p> Download your file <a href='./%s'></a>", % file

def process(file)
#some file treatment here, and a resulting file is stored in current directory

我想编写一个允许用户通过电子邮件接收结果文件的功能。在那种情况下,一旦他上传了他的文件,我想将他重定向到一个页面,他可以继续使用网络工具,而他的文件正在服务器端处理,因此用户不是 Unix 分支。我已经用这 3 个选项进行了多次测试,但我总是被正在运行的脚本阻止。据我所知,多处理最适合我的情况,所以我试过这个:

我的脚本.py

def main(file, receiver_mail_address):
p = Process(target=process_and_email, args=(file, receiver_mail_address)
p.start()
return "<p> The resulting files will be emailed to you at %s.</p>" % receiver_mail_address

def process_and_email(file, receiver_mail_address):
#some file processing here, and emailing. these functions work perfectly as expected.

在这种情况下,我跳过了 python 文档中提到的 p.join() 步骤

"Block the calling thread until the process whose join() method is called terminates or until the optional timeout occurs."

但就我而言,它仍然被阻止。这意味着我必须等待我的进程 p 在到达 return 语句之前结束。我该怎么做?


编辑:

我已尝试更改为 subprocess 模块。所以我将 process_and_email 函数放入一个名为 process_and_email.py 的新文件中,并修改了主脚本:

我的脚本.py

def main(file, receiver_mail_address):
directory = os.path.firname(__file__)
path = os.path.join(directory, 'process_and_email.py')

subprocess.Popen(['python2.7', path, file, receiver_mail_address], shell=True)

return "<p> The resulting files will be emailed to you at %s.</p>" % receiver_mail_address

我仍然有同样的问题:在 process_and_email.py 文件完全执行之前,我无法到达 return 语句。

最佳答案

发生这种情况是因为在所有非守护进程子进程完成它们正在执行的工作之前,您的父进程不会退出。因此,在您的情况下,即使 main 已完成,process_and_email 也需要在脚本退出之前完成。您可以使子进程成为守护进程,这将允许父脚本立即退出,但它会在退出之前杀死工作进程,这也不是您想要的。

我认为对您来说更好的选择是使用 subprocess 模块生成一个单独的 Python 脚本以在后台进行处理。这样您的父脚本就可以退出,并让工作进程继续运行。

关于Python 多处理意外阻塞,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23638511/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com