python - R 相当于 Python 的 dask

Question

R 中是否有与 Python 的 dask 等效的包？ ?专门用于在单台机器上对大于内存的数据集运行机器学习算法。

链接到 Python 的 Dask页:
https://dask.pydata.org/en/latest/

来自 Dask 网站:

Dask natively scales Python

Dask provides advanced parallelism for analytics, enabling performance at scale for the tools you love

Dask's schedulers scale to thousand-node clusters and its algorithms have been tested on some of the largest supercomputers in the world.

But you don't need a massive cluster to get started. Dask ships with schedulers designed for use on personal machines. Many people use Dask today to scale computations on their laptop, using multiple cores for computation and their disk for excess storage.

Answer 1

我正在开发一个名为 disk.frame 的简单库有可能承担dask一天。它使用 fst文件格式和 data.table操作磁盘上的大量数据。截至目前，它没有集群模块，但考虑到它使用 future在后台和future可以有集群后端，这是 future 的可能。

还有multidplyr在哈德利和公司的作品中。

目前，我已经使用disk.frame成功地操作了具有数亿行数据和数百列的数据集。

如果您愿意超越 R，那么 Julia 生态系统中的 JuliaDB.jl 是值得关注的。