python - 合并大型数据帧时 Pandas concat 函数超时

Question

我正在尝试组合三个数据帧，总共超过 120,000 个特征和 206,000 行。所有三个数据框都是文档项矩阵。这是代码:

new_df = pd.concat([df_1, df_2], axis = 1, sort = False)

如您所见，我正在使用 concat 函数来组合横轴上的三个数据框。目前，Jupyter Notebook 超时并在这段代码运行一段时间后重新启动内核(我假设是因为功能的数量)。任何有关减少这些数据帧大小或组合它们的方法的见解都将不胜感激。

Answer 1

试试 SFrame来自 https://github.com/apple/turicreate :

pip install -U turicreate

代替

import pandas as pd
df = pd.read_csv(...)

使用 SFrame 执行此操作， https://turi.com/products/create/docs/generated/graphlab.SFrame.html#graphlab.SFrame :

import turicreate as tc
sf1 = tc.SFrame.read_csv(...)
sf2 = tc.SFrame.read_csv(...)

然后连接 SFrames:

new_sf = sf1.append(sf2)

问: 为什么 SFrame 适用于大号。数据行而不是 Pandas ？

答: https://www.youtube.com/watch?v=wUOMaKYtaMY

问: 那么为什么 Pandas 比 SFrame 更受欢迎呢？

答:*耸耸肩。