dask-distributed - 不断收到 "distributed.utils_perf - WARNING - full garbage collections took 19% CPU time..."

Question

完成 DASK 代码后，我不断收到“distributed.utils_perf - 警告 - 完整垃圾收集最近占用了 19% CPU 时间”警告消息。我正在使用 DASK 进行大型地震数据计算。计算完成后，我将计算出的数据写入磁盘。写入磁盘部分比计算花费的时间要长得多。在我将数据写入磁盘之前，我调用了 client.close()，我假设我已经完成了 DASK。但是“distributed.utils_perf - 警告 - 完整的垃圾收集最近占用了 19% 的 CPU 时间”不断出现。当我进行计算时，我收到了 3-4 次此警告消息。但是当我将数据写入磁盘时，我每 1 秒收到一次警告。我怎样才能摆脱这个烦人的警告？谢谢。

Answer 1

在我们开始 session 的 Colab 中，我也发生了同样的事情client = Client(n_workers = 40, threads_per_worker = 2 )我终止了所有 Colab session 并安装并导入了所有 Dask 库

!pip install dask
!pip install cloudpickle
!pip install 'dask[dataframe]'
!pip install 'dask[complete]'

from dask.distributed import Client
import dask.dataframe as dd
import dask.multiprocessing

现在一切正常，没有遇到任何问题。
不知道这如何解决我的问题:D