python - 多处理只运行函数而不是整个文件

Question

如果我运行以下代码，它会在每次 pool.map 运行时运行 print("a") 。

from multiprocessing import Pool
from os import getpid

print("a")

def double(i):
    print("I'm process", getpid())
    return i * 2

if __name__ == '__main__':
    with Pool() as pool:
        result = pool.map(double, [1, 2, 3, 4, 5])
        print(result)

通常这不是问题，但在我想要实现多处理的代码中，启动时间很长，这使得多处理需要很长时间才能获得结果，这抵消了使用多处理节省的时间。那么有没有办法让它只并行运行函数而不是整个文件？

Answer 1

您可以使用 multiprocessing.pool.ThreadPool在一个进程中运行该函数:

from multiprocessing.pool import ThreadPool
from os import getpid

print("a")

def double(i):
    print("I'm process", getpid())
    return i * 2

if __name__ == '__main__':
    with ThreadPool() as pool:
        result = pool.map(double, [1, 2, 3, 4, 5])
        print(result)

打印(注意“乱码”输出):

a
I'm processI'm process  I'm process 1
I'm process 1
I'm process1
 1
1
[2, 4, 6, 8, 10]