python - 如何在迭代生成数据帧时保存数据帧列表？

Question

我有很多文件夹，根据某些标准，我可以从中生成不同的数据帧。因此，循环每次迭代都会生成一个数据帧。我想将它们全部保存在不同的 .plk 文件中。我只是在使用它:

df.to_pickle('df')

但它只保存最后一个。我需要类似的东西:

df.to_pickle(df[i].plk')

其中 i 代表每次迭代。

Answer 1

这就是我的管理方式:首先创建一个空列表，您将在其中附加您创建的每个数据框:

df_appender = []

假设我生成一个列表 ids，其中包含将用于迭代和生成您想要的每个数据帧的唯一值:

ids = ['A','B','C','D','E']

这里是循环发生的地方，以及您想要应用的任何逻辑来创建新的数据帧并附加它们:

for i in range(len(ids)):
    dfx = df[df['id'] == ids[i]] 
    dfx = dfx.sort_values(['day'],ascending=[True])
    dfx = dfx.drop_duplicates(['day'],keep='last')
    df_appender.append(dfx)
    print(i/len(ids))

现在你有了一个包含每次迭代的数据帧的列表，最后，如果你想将它们连接到一个大数据帧，你可以这样做:

final_df = pd.concat(df_appender,ignore_index=True)