python-3.x - Jupyter Lab 中的 ipyparallel 并行函数调用示例

Question

我发现很难弄清楚如何使用 jupyter 实验室的 ipyparallel 并行执行两个函数。有人可以给我一个应该如何完成的例子吗？例如同时运行这两个函数:

import time

def foo():
    print('foo')
    time.sleep(5)

def bar():
    print('bar')
    time.sleep(10)    

Answer 1

因此，首先您需要确保安装了 ipyparallel 并且正在运行 ipycluster - instructions here .

完成后，这里有一些经过改编的代码可以并行运行您的两个函数:

from ipyparallel import Client
rc = Client()

def foo():
    import time
    time.sleep(5)
    return 'foo'

def bar():
    import time
    time.sleep(10) 
    return 'bar'  

res1 = rc[0].apply(foo)
res2 = rc[1].apply(bar)
results = [res1, res2]

while not all(map(lambda ar: ar.ready(), results)):
    pass

print(res1.get(), res2.get())

注意我删除了 print 语句，因为您无法从子进程回调到父 Jupyter session 以进行打印，但我们当然可以返回一个结果——我在这里阻塞，直到两个结果都完成，但您可以改为打印结果可用时