使用 C 指针时的 Dask 与多处理

Question

当我在 python 中使用 C 指针并尝试使用 dask 处理它时，它就像专业人士一样工作。但是当我尝试使用 python 的多处理模块时，它会拆分指针引用错误。

使用 C 指针时，dask 如何克服多处理模块

Answer 1

dask(“线程”)的默认调度程序与您定义图形的同一进程中的线程一起使用，因此每个工作人员都可以访问原始内存空间 - 因此 C 指针是有效的。在一个新进程中，无论是使用内置的多处理模块还是其他方式，您都需要重新创建所需的任何 C 结构，并为它们创建新的指针；这可以通过反序列化(dask-distributed 有很多专门用于此的逻辑)或通过在工作程序中重新加载模块/数据来完成。