python - Dask 与 channel 和内存使用共享 future

Question

我正在使用此处描述的 dask 功能“Shared Futures With Channels”。

正如文档中所解释的，我设法提交 future 并将其添加到 channel 中。然后，我从另一个客户那里设法了解 future 并从他们那里得到结果。

在我的用例中，可能会将大量 future 加载到 channel 中。当我查看调度程序时，我发现内存使用量增长甚至保持在较高水平，即使在我得到结果之后也是如此。

有没有办法从 channel 中卸载 future ？

Answer 1

截至 2017 年 1 月，尚无从 channel 中清除特定 future 的机制，但可能会添加此机制。您可能想提出问题 here .

您还可以考虑使用 maxlen= 参数创建具有最大长度的 channel

chan = Channel('my-channel', maxlen=100)

您需要在第一次创建 channel 时执行此操作。