python - Modin 之间的比较 |任务 |数据表 |用于并行处理和内存不足 csv 文件的 Pandas

Question

Dask 的根本区别和主要用例是什么 |莫丁 |数据表

我检查了每个库的文档，它们似乎都为 pandas 的限制提供了“类似”的解决方案

Answer 1

我正在尝试决定在并行/内存不足计算的三个工具中学习哪个工具:dask、modin 或 datatable (pandas 不是并行工具，也不是针对内存不足的计算)。

在 datatable 文档中没有找到任何内存不足的工具(已讨论 here )，因此我只关注 modin 和 昏昏欲睡。

简而言之，modin 试图成为 pandas API 的直接替代品，而 dask 是惰性求值的。 modin 是列存储，而 dask 按行对数据帧进行分区。 dask 背后的分发引擎是中心化的，而 modin(称为 ray)则不是。 编辑:现在modin也支持dask作为计算引擎。

dask 是第一个，拥有庞大的生态系统，看起来文档齐全，在论坛中讨论并在视频中演示。 modin (ray) 有一些设计选择，使其在硬件错误恢复和高性能序列化方面更加灵活。 ray 旨在在 AI 研究中发挥最大作用，但 modin 本身具有通用性。 ray也瞄准实时应用，更好地支持实时强化学习。

更多详情 here和 here .