python - 使用 pandas.read_csv 将逗号分隔的字符串列表转换为数据框

Question

如何使用 Pandas read_csv 将大列表快速转换为数据框？

import Pandas as pd

x = '1,2,3,4,5,7,8,9'
df = pd.read_csv(x)

我知道我可以用逗号拆分字符串 -> 放入列表 -> 转换为数据帧，但我想知道是否有一种方法可以使用 pd.read_csv 更快地完成此操作？

Answer 1

x = '1,2,3,4,5,7,8,9'
df = pd.read_csv(pd.io.common.StringIO(x), header=None)

df

   0  1  2  3  4  5  7  8
0  1  2  3  4  5  7  8  9

是您可以使用 pd.read_csv 做的最好的事情

---

考虑更大的字符串

y = '\n'.join([','.join(['0,1,2,3,4,5,6,7,8,9'] * 100)] * 1000)

并比较这两个选项的时间

%timeit pd.DataFrame([l.split(',') for l in y.split('\n')]).astype(int)
%timeit pd.read_csv(pd.io.common.StringIO(y), header=None)

1 loop, best of 3: 200 ms per loop
10 loops, best of 3: 125 ms per loop

如果我们需要做的只是拆分字符串，split 会更快。然而，pd.read_csv 为我们做的一件事是解析整数。如果必须在拆分后执行此操作，那么额外的开销会变得昂贵。