就地更换 Pandas ？

Question

我想知道我是否可以使用 dask 而不是 pandas。我可能会遇到哪些问题？

1) 我想对于较小的数据集，dask 会比 pandas 慢。我对此没有意见，因为有时我不知道数据的大小，也不知道服务器配置。

2) 我将不得不学习稍微不同的语法(例如计算)

我会遇到 dask dataframe 不能做 pandas dataframe 可以做的事情吗？

Answer 1

这是一个非常宽泛的问题。一般来说，我建议引用 dask.dataframe documentation .

Dask.dataframe 并没有实现所有的 pandas。这包括以下几类操作:

1. 变异操作
2. 难以完全并行执行的操作，例如中位数(尽管通常存在近似解，例如近似分位数)
3. 迭代数据框的行
4. 没有人费心复制的 API 的小角落。

但是，由于 dask 数据框只是许多小数据框的集合，因此您通常可以在简单的情况下绕过其中的一些限制。