python - 合并列与 dask

Question

我有一个当前用 Pandas 编写的简单脚本，我想将其转换为 dask 数据帧。
在此脚本中，我正在对用户指定列上的两个数据框执行合并，并尝试将其转换为 dask。

def merge_dfs(df1, df2, columns):
    merged = pd.merge(df1, df2, on=columns, how='inner')
...

如何更改此行以匹配 dask 数据帧？

Answer 1

dask合并跟随pandas语法，所以它只是将调用替换为 pandas调用dask.dataframe :

import dask.dataframe as dd

def merge_dfs(df1, df2, columns):
    merged = dd.merge(df1, df2, on=columns, how='inner')
# ...

生成的数据帧 merged , 将是 dask.dataframe因此可能需要下游计算。如果您将数据保存到文件中，这将自动完成，例如与 .to_csv或与 .to_parquet .
如果您需要数据帧进行某些计算并且数据适合内存，则调用 .compute将创建一个 pandas数据框:

pandas_df = merged.compute()