python - Pandas:将数据帧存储在多个 json 文件中

Question

我有一个非常大的 pandas 数据框，如下所示:

X1      | X2      | y
[1,2,3] | [1,5,6] | 2.5
[3,2,1] | [2,1,3] | 3
...

由于数据帧非常大，我想将它存储在多个包含部分数据帧的文件中(比如说 3 个文件，每个文件占数据帧的 33%)。有什么办法吗？

Answer 1

当然，拆分它:

split1 = len(df) // 3
split2 = split1 * 2

df.iloc[:split1].to_json(...)
df.iloc[split1:split2].to_json(...)
df.iloc[split2:].to_json(...)

每个文件写一列可能更有意义:

for col in df.columns:
    df[col].to_json(...)