python - 如何有效地扩展/展平 Pandas 数据框

Question

我有一个数据集，其中一列中的每个元素都是一个列表。我想将其展平，以便每个列表元素都有自己的一行。

我设法用 iterrows、dict 和 append 解决了这个问题(见下文)但是我的真正 DF 太慢了大的。有没有办法让事情变得更快？

如果这样更有意义，我可以考虑用另一种格式(可能是分层 df？)的每个元素列表替换列。

编辑:我有很多专栏，将来可能会有一些变化。我唯一确定的是我有字段列。这就是我在解决方案中使用 dict 的原因

一个最小的例子，创建一个 df 来玩:

import StringIO
df = pd.read_csv(StringIO.StringIO("""
id|name|fields
1|abc|[qq,ww,rr]
2|efg|[zz,xx,rr]
"""), sep='|')
df.fields = df.fields.apply(lambda s: s[1:-1].split(','))
print df

结果 df:

   id name        fields
0   1  abc  [qq, ww, rr]
1   2  efg  [zz, xx, rr]

我的(慢)解决方案:

new_df = pd.DataFrame(index=[], columns=df.columns)

for _, i in df.iterrows():
    flattened_d = [dict(i.to_dict(), fields=c) for c in i.fields]
    new_df = new_df.append(flattened_d )

结果为

    id name fields
0  1.0  abc     qq
1  1.0  abc     ww
2  1.0  abc     rr
0  2.0  efg     zz
1  2.0  efg     xx
2  2.0  efg     rr

Answer 1

您可以使用 numpy 以获得更好的性能:

两种解决方案都主要使用 numpy.repeat .

from  itertools import chain

vals = df.fields.str.len()
df1 = pd.DataFrame({
        "id": np.repeat(df.id.values,vals),
        "name": np.repeat(df.name.values, vals),
        "fields": list(chain.from_iterable(df.fields))})
df1 = df1.reindex_axis(df.columns, axis=1)
print (df1)
   id name fields
0   1  abc     qq
1   1  abc     ww
2   1  abc     rr
3   2  efg     zz
4   2  efg     xx
5   2  efg     rr

另一种解决方案:

df[['id','name']].values 将列转换为 numpy array 并通过 numpy.repeat 复制它们，然后按 numpy.hstack 在 lists 中堆叠值并通过 numpy.column_stack 添加.

df1 = pd.DataFrame(np.column_stack((df[['id','name']].values.
                   repeat(list(map(len,df.fields)),axis=0),np.hstack(df.fields))),
                   columns=df.columns)

print (df1)
  id name fields
0  1  abc     qq
1  1  abc     ww
2  1  abc     rr
3  2  efg     zz
4  2  efg     xx
5  2  efg     rr

更通用的解决方案是过滤掉列 fields 然后将其添加到 DataFrame 构造函数，因为总是最后一列:

cols = df.columns[df.columns != 'fields'].tolist()
print (cols)
['id', 'name']

df1 = pd.DataFrame(np.column_stack((df[cols].values.
                   repeat(list(map(len,df.fields)),axis=0),np.hstack(df.fields))), 
                   columns=cols + ['fields'])

print (df1)
  id name fields
0  1  abc     qq
1  1  abc     ww
2  1  abc     rr
3  2  efg     zz
4  2  efg     xx
5  2  efg     rr