Python 多处理执行脚本而不是函数

Question

1) multiprocessing 模块是否支持我可以用来启动第二个进程而不是函数的 Python 脚本文件？

目前我使用 multiprocessing.Process 它接受一个函数，但我想执行 foo.py 。我可以使用 subprocess.Popen 但 multiprocessing.Process 的好处是我可以传递对象(即使它们只是经过腌制的)。

当我使用multiprocessing.Process时，为什么子进程中导入了my_module但print("foo")没有执行？

2) 当我使用multiprocessing.Process时，为什么在子进程中导入了my_module，但没有导入print("foo")被处决？尽管主作用域未执行，但 my_module 如何可用？

import multiprocessing
import my_module
print("foo")

def worker():
    print("bar")
    my_module.foo()
    return

p = multiprocessing.Process(target=worker, args=(1,2, d))
p.start()
p.join()

Answer 1

Python 函数和您想要在另一个进程中运行的例程之间没有明显的区别。函数只是过程。

假设您希望在另一个进程中运行的另一个脚本文件(在此上下文中为 foo.py)是否具有以下内容:

# for demonstration only
from stuff import do_things

a = 'foo'
b = 1
do_things(a, b) # it doesn't matter what this does

你可以这样重构foo.py

from stuff import do_things

def foo():
    a = 'foo'
    b = 1
    do_things(a, b)

在模块中您正在生成进程:

from foo import foo

p = multiprocess.Process(target=foo)
# ...

Process API 要求提供“可调用”作为目标。如果假设您尝试提供模块 foo (其中 foo.py 是第一个没有函数 foo 的版本):

import foo
p = Process(target=foo)
p.start()

您将收到 TypeError: 'module' object is not callable 错误，这是有充分理由的。想象一下，当您导入 foo 模块时，它会立即执行，因为它没有包装在函数/过程(又名 callable)内。尝试在模块文件中插入打印语句并导入它。模块级语句立即被评估。

这回答了问题 2:

当您在顶层导入 my_module 时，每个模块都会导入一次，即使 worker 未执行也是如此。 my_module 可用于 worker，因为 worker 过程 closes over my_module 。当您将像 worker 这样的子例程传递给并发进程时，无法保证它何时会被调用，甚至永远不会被调用。

您可以在 Python 模块中的任何位置导入模块，包括在函数/子例程中。但在这种情况下这样做可能不是最佳的或没有必要的。