python - 通过读取 Python 的 dask 模块中的 pickle 文件来创建 dask 数据框

Question

当我试图通过读取 pickle 文件创建一个 dask 数据框时，我遇到了一个错误

import dask.dataframe as dd
ds_df = dd.read_pickle("D:\test.pickle")

AttributeError: 'module' object has no attribute 'read_pickle'

but  it works fine with read_csv

在 pandas 中，它像往常一样成功。

因此，如果我在那里做错了什么或在一瞬间我们根本无法通过读取 pickle 文件来创建数据框，请纠正我。

Answer 1

请注意，dask.dataframe 并未完全实现 Pandas。您不应该期望每个 pandas 操作在 dask.dataframe 中都有一个模拟。

我们没有特别选择实现从 pickle 文件中读取，因为没有办法只读取 pickle 文件的一部分；一切都立即转储到内存中。因此，在从磁盘逐个读取大型数据集时，pickle 文件没有多大值(value)。

如果您只是在寻找并行性，那么我建议您同时使用 pandas.read_pickle 和 dask.dataframe.from_pandas

df = pd.read_pickle(...)
ddf = dd.from_pandas(df, npartitions=8)