Python:优化数据帧处理

Question

我已经处理了多个 pandas 数据框中的原始数据。每个数据框都包含个人用户数据以及他们在时间序列中点击过的社交网络。每个数据帧大致代表一两年的时间，我希望在处理后将所有内容整合在一起。

在循环内，我首先将每个数据帧转换为以下结构以获取聚合数据。

    year  month  social_clicks, Gender
0   2010    01  google, yahoo, google, google, facebook, facebook, m,f,m
1   2010    02  facebook, yahoo, google, google, facebook, facebook, m,f,m
2   2010    03  yahoo, yahoo, google, google, facebook, facebook, f,f,m
3   2010    04  google, yahoo, google, twitter, facebook, facebook, f,f,f
4   2010    05  facebook, yahoo, google, google, facebook, facebook, m,f,m
5   2010    06  twitter, yahoo, google, twitter, facebook, google, m,f,f

最终目标是将上述时间序列数据处理成以下数据帧结构。

    year  month  google  yahoo  facebook  twitter M F
0   2010    01    3       1         2       0     2 1
1   2010    02    2       1         3       0     2 1
2   2010    03    2       2         2       0     1 2

我迭代包含所有单独数据帧的列表，同时将它们转换为上面的聚合结构。我想并行化这个过程以加快处理速度。

pre_processed_dfs = []
finalized_dfs = []
        for frame in pre_processed_dfs:

            ## Calculate the gender per month
            gender_df = frame.groupby(['year','month'])['Gender'].apply(
                lambda x: ','.join(x)).reset_index()

            df_gender = gender_df.Gender.str.split(',', expand=True)
            df_gender = pd.get_dummies(df_gender, prefix='', prefix_sep='')
            df_gender = df_gender.groupby(df_gender.columns, axis=1).sum()
            df_gender_agg = pd.concat([gender_df, df_gender], axis=1)
            df_gender_agg.drop('Gender', axis=1, inplace=True)

            ## construct data frame to maintain monthly social clicks
            social_df = frame.groupby(['year','month'])['social_clicks'].apply(
                lambda x: ','.join(x)).reset_index()

            df = social_df.social_clicks.str.split(',', expand=True)
            df = pd.get_dummies(df, prefix='', prefix_sep='')
            df = df.groupby(df.columns, axis=1).sum()
            social_df_agg = pd.concat([social_df, df], axis=1)
            social_df_agg.drop('social_clicks', axis=1, inplace=True)

            social_df_agg.set_index(['year', 'month'], inplace=True)
            df_gender_agg.set_index(['year', 'month'], inplace=True)

            social_gender_df = pd.merge(social_df_agg, df_gender_agg, left_index=True, right_index=True)

            social_gender_df.reset_index(level=social_gender_df.index.names, inplace=True)
            finalized_dfs.append(social_gender_df)
final_df = pd.concat(finalized_dfs)

当我使用较小的数据集运行时，上述过程完成得很快。但是，当我切换到使用实际数据集运行时，进程运行的时间非常长。我相信最耗时的部分是我拆分和加入以及进行合并的部分。

我可以并行化这个过程，将列表中每个数据帧的处理移交给线程吗？除此之外，我还可以加快此循环中的连接和合并速度。

我正在查看 CPU 和内存使用情况:

PID    COMMAND      %CPU  TIME     #TH    #WQ  #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS         %CPU_ME %CPU_OTHRS UID
4565   python2.7    99.9  14:56:32 9/1  

我还在 for 循环顶部放置了 print 语句，而在重置索引后，其他语句尚未到达重置代码行。

Answer 1

这应该是

df.set_index(['year', 'month']) \
  .iloc[:, 0].str.split(r',\s*').apply(pd.value_counts).fillna(0).reset_index()