python - 是否可以等到 `.persist()` 在 dask 中完成缓存？

Question

由于 .persist() 在后台缓存数据，我想知道是否可以等到它完成缓存后再执行以下操作。另外，有没有办法让缓存过程有一个进度条？非常感谢

Answer 1

是的，您正在寻找的函数被恰本地命名为 wait 和 progress。

from dask.distributed import wait, progress

progress 函数接受任何简单的事情并呈现一个进度条

>>> progress(x)
[XXXXXXX................]  5.2 seconds

如果您在 IPython notebook 中，那么进度也是非阻塞的并且使用 IPython 小部件。如果您在 IPython 控制台或直接 Python 可执行文件中，则 progress 会阻塞并且在计算完成之前不会返回。

如果您不想要进度条，或者如果您在 Jupyter notebook 中，那么您可能需要单独使用 wait 函数，该函数将阻塞直到计算完成。

wait(x)

http://distributed.readthedocs.io/en/latest/api.html#distributed.client.wait http://distributed.readthedocs.io/en/latest/api.html#distributed.diagnostics.progress