python - 以 block 的形式合并两个数据帧

Question

目标

合并的最佳方法是什么 df1和 df2一起在哪里df2由块合并。当前在合并时出现内存错误 df2
如果没有块，我会执行以下操作:

df = df1.merge(df2, how='left', left_on=['x','y'], right_on['x','y']

Answer 1

您可以将大型数据帧分成 20 万行的块。

n = 200000  #chunk row size
list_df = [df2[i:i+n] for i in range(0, df2.shape[0],n)]

然后将所有分块的 df 与 df1 合并:

res = pd.DataFrame() 

for chunk in list_df:
    res = pd.concat([res, df1.merge(chunk, how='left', left_on=['x','y'], right_on['x','y'])