python - 将 tqdm 与延迟执行与 python 中的 dask 相结合

Question

tqdm 和 dask 都是很棒的 python 迭代包。 tqdm 实现了所需的进度条，dask 实现了多线程平台，它们都可以使迭代过程不那么令人沮丧。然而 - 我在将它们结合在一起时遇到了麻烦。

例如，下面的代码在dask中实现了延迟执行，带有tqdm.trange进度条。问题在于，由于 delayed 执行得很快，进度条会立即结束，而真正的计算时间工作是在 compute 部分完成的。

from dask import delayed,compute
from tqdm import trange
from time import sleep

ct = time()
result= []

def fun(x):
    sleep(x)
    return x

for i in trange(10):
    result.append(delayed(fun)(i))

print compute(result)

如何将进度条附加到 compute 命令的实际执行中？

Answer 1

考虑Dask的进度条

from dask.diagnostics import ProgressBar

with ProgressBar():
    compute(result)

构建您自己的诊断

您可以使用此插件架构在每个任务结束时获取信号。 http://dask.pydata.org/en/latest/diagnostics.html

这是一个人正在做的例子:https://github.com/tqdm/tqdm/issues/278