python - 如何以 block 的形式旋转现有数据框？

Question

我有 1000 万行、60 列的数据帧，是从 parquet 文件中读取的。

我有一行代码(如下)，它可以旋转我的数据框，并按照我的需要执行另外 3 行操作。然而，这行代码仅适用于较小的数据集，不适用于较大的数据集:

pivoted_df = pd.pivot_table(df.fillna('missing'), index=cols, columns='Field', values='Value', aggfunc='first').reset_index().replace('missing', np.nan)

pivoted_df = pivoted_df.drop(['FieldId', 'FieldType'], axis=1)
pivoted_df = pivoted_df.replace('nan', np.nan)
pivoted_df = pivoted_df.groupby('Id', as_index=False).last()

无论如何，我可以对来自 df 的数据进行分块，同时单独旋转这些 block ，稍后清理并将旋转后的数据连接在一起吗？

内核在 spy 程序和终端中不断崩溃。

打开以使用任何其他工具来执行此操作。

Answer 1

我使用以下方法将数据框分成大小均匀的部分:

import numpy as np
z = np.array_split(df, 5)

然后迭代列表:

for i in z:
   (rest of code)