dask - distributed.worker 内存使用率很高，但 worker 没有数据可以存储到磁盘

Question

distributed.worker - WARNING - Memory use is high but worker has no data to store to disk.  Perhaps some other process is leaking memory?  Process memory: 3.91 GB -- Worker memory limit: 2.00 GB
distributed.worker - WARNING - Worker is at 41% memory usage. Resuming worker. Process memory: 825.12 MB -- Worker memory limit: 2.00 GB

当我尝试运行一段将算法应用于我拥有的数据集的代码时，会出现上述错误。通读了 https://distributed.dask.org/en/latest/worker.html 上的文档后，我仍然不清楚这个错误会对这个应用程序的结果产生什么影响。这只会影响此代码的速度或效率，还是会影响我的结果？

Answer 1

该警告表示您的进程占用的内存比您说的要多得多。在这种情况下，Dask 可能会暂停执行甚至开始重新启动您的工作人员。

该警告还表示 Dask 本身并没有保留任何数据，因此它无能为力(例如删除其数据)。我的猜测是您使用的某些库占用了大量内存。您可能希望使用内存超过 2GB 的 Dask 工作线程。