machine-learning - 达斯克VS急流。急流提供哪些 dask 没有？

Question

我想了解 dask 和 Rapids 之间的区别是什么，rapids 提供哪些 dask 没有的好处。

Rapids 内部是否使用 dask 代码？如果是这样，那么为什么我们有 dask，因为即使 dask 也可以与 GPU 交互。

Answer 1

Dask是一个 Python 库，它支持一些流行的 Python 库以及自定义函数的核心并行和分发。

拿 Pandas例如。 Pandas 是一个流行的库，用于在 Python 中处理数据帧。但是它是单线程的，您正在处理的数据帧必须适合内存。

Dask 有一个名为 dask.dataframe 的子包它遵循与 Pandas 相同的大部分 API，但将您的 Dataframe 分解为可以并行操作的分区，并且可以在内存中交换。 Dask 在底层使用 Pandas，因此每个分区都是一个有效的 Pandas Dataframe。

整体Dask Dataframe可以横向扩展 并使用多核或多台机器。

RAPIDS是 GPU 加速 Python 库的集合，它们遵循其他流行 Python 包的 API。

为了继续我们的 Pandas 主题，RAPIDS 有一个名为 cuDF 的包。 ，它有很多与 Pandas 相同的 API。然而，cuDF 将数据帧存储在 GPU 内存中并使用 GPU 执行计算。

由于 GPU 可以加速计算，这可以为您的 Dataframe 操作带来性能优势，并使您能够 放大 您的工作流程。

RAPIDS 和 Dask 也一起工作，因此 Dask 被认为是 RAPIDS 的一个组件。因此，与其拥有由单个 Pandas 数据帧组成的 Dask 数据帧，不如让一个由 cuDF 数据帧组成。这是可能的，因为它们遵循相同的 API。

这样你就可以 放大 通过使用 GPU 以及 横向扩展 在多台机器上使用多个 GPU。