python - 使用 python 聚合 CSV 文件

Question

我的交叉制表 CSV 文件如下所示:

Country,Age,All,M,F
UK,Under65,30987,15000,15987
UK,65andOver,12345,6345,6000
Germany,Under65,32646,15642,17004
Germany,65andOver,14747,7192,7555
France,Under65,31587,16286,15301
France,65andOver,13741,6187,7554

我想修改它，让它看起来像这样:

Country,Under65_All,Under65_M,Under65_F,65andOver_All,65andOver_M,65andOver_F
UK,30987,15000,15987,12345,6345,6000
Germany,32646,15642,17004,14747,7192,7555
France,31587,16286,15301,13741,6187,7554

每个国家/地区现在位于一行，并且列数已扩展(无交叉表)。

我正尝试在 Python 3 中执行此操作。Excel VBA 已出局，因为我在处理一些较大的 CSV 文件时达到了行数限制。

我想我正在尝试做的是一个带有附加“分组依据”步骤的“聚合”。我已经阅读了 CSV 文件并计算了可能有用的各种值:独特国家的数量(3)，独特年龄组的数量(2)，最终输出文件所需的名称和列数(7 ).

我希望使代码尽可能灵活，以便它可以读取具有 x 个唯一国家/地区和 y 个唯一年龄分组以及 z 个列变量的文件。最终文件将包含一个标题行，其中包含 y*z+1 列，并且低于此 x 行数。

希望这是有道理的，我们将不胜感激任何帮助/指点。

Answer 1

我要提议 pandas解决方案，因为否则你就是在重新发明轮子，但没有办法解决它需要一点时间来适应的事实。好处是，一旦您掌握了它，这样的操作就会变得相对简单。

import pandas as pd

df = pd.read_csv("c.dat")
df = pd.melt(df, id_vars=["Country", "Age"], var_name="Other")
df["Column"] = df.pop("Age") + "_" + df.pop("Other")
df = df.pivot(index="Country", columns="Column")
df.columns = df.columns.droplevel(0)
df.to_csv("out.csv")

产生

>>> !cat out.csv
Country,65andOver_All,65andOver_F,65andOver_M,Under65_All,Under65_F,Under65_M
France,13741,7554,6187,31587,15301,16286
Germany,14747,7555,7192,32646,17004,15642
UK,12345,6000,6345,30987,15987,15000

(如果我们真的想的话，我们可以在其中对列进行排序。)

---

在这里复制整个教程没有意义——尽管您可以阅读 reshape 教程 here -- 但我至少可以概述一下这是如何工作的。

循序渐进。首先，我们将 csv 文件读入 DataFrame(有点像 excel 表):

>>> df = pd.read_csv("c.dat")
>>> df
   Country        Age    All      M      F
0       UK    Under65  30987  15000  15987
1       UK  65andOver  12345   6345   6000
2  Germany    Under65  32646  15642  17004
3  Germany  65andOver  14747   7192   7555
4   France    Under65  31587  16286  15301
5   France  65andOver  13741   6187   7554

您可以在其中按行、列等访问框架。为了您的目的，我们可以融合(逆透视)此数据:

>>> df = pd.melt(df, id_vars=["Country", "Age"], var_name="Other")
>>> df
    Country        Age Other  value
0        UK    Under65   All  30987
1        UK  65andOver   All  12345
2   Germany    Under65   All  32646
3   Germany  65andOver   All  14747
4    France    Under65   All  31587
5    France  65andOver   All  13741
6        UK    Under65     M  15000
7        UK  65andOver     M   6345
8   Germany    Under65     M  15642
9   Germany  65andOver     M   7192
10   France    Under65     M  16286
11   France  65andOver     M   6187
12       UK    Under65     F  15987
13       UK  65andOver     F   6000
14  Germany    Under65     F  17004
15  Germany  65andOver     F   7555
16   France    Under65     F  15301
17   France  65andOver     F   7554

现在我们有了所需的行标签(国家/地区)和有关其他列的信息，无论它们是什么，以及值。您想要“年龄”和“其他”中的任何内容相结合，所以:

>>> df["Column"] = df.pop("Age") + "_" + df.pop("Other")
>>> df
    Country  value         Column
0        UK  30987    Under65_All
1        UK  12345  65andOver_All
2   Germany  32646    Under65_All
3   Germany  14747  65andOver_All
4    France  31587    Under65_All
5    France  13741  65andOver_All
6        UK  15000      Under65_M
7        UK   6345    65andOver_M
8   Germany  15642      Under65_M
9   Germany   7192    65andOver_M
10   France  16286      Under65_M
11   France   6187    65andOver_M
12       UK  15987      Under65_F
13       UK   6000    65andOver_F
14  Germany  17004      Under65_F
15  Germany   7555    65andOver_F
16   France  15301      Under65_F
17   France   7554    65andOver_F

现在所有的艰苦工作都完成了。我们只需调用 pivot 来转动它:

>>> df = df.pivot(index="Country", columns="Column")
>>> df
                 value                                                    \
Column   65andOver_All  65andOver_F  65andOver_M  Under65_All  Under65_F   
Country                                                                    
France           13741         7554         6187        31587      15301   
Germany          14747         7555         7192        32646      17004   
UK               12345         6000         6345        30987      15987   


Column   Under65_M  
Country             
France       16286  
Germany      15642  
UK           15000  

(在屏幕上看起来更好。)它给了我们额外的“值(value)”级别，这是您不想要的，所以让我们放弃它:

>>> df.columns = df.columns.droplevel(0)
>>> df
Column   65andOver_All  65andOver_F  65andOver_M  Under65_All  Under65_F  \
Country                                                                    
France           13741         7554         6187        31587      15301   
Germany          14747         7555         7192        32646      17004   
UK               12345         6000         6345        30987      15987   

Column   Under65_M  
Country             
France       16286  
Germany      15642  
UK           15000  

然后我们将其写入 csv:

>>> df.to_csv("out.csv")