python - Pandas 数据框...迭代与列表理解...寻求建议

Question

我是 Python 新手，我正在尝试寻求一些建议。

我正在查询一个包含大约 500k 行数据的 CSV 文件。

我(有点)尝试复制具有多个条件的 xlsx SUMIFS 公式的逻辑，以使用 groupby() 从我的初始数据集创建一个新的数据帧。

我认为这对我来说很有效(尽管请告诉我这是否愚蠢)，因为我希望我的输出以矩阵的形式(它是 132 行 x 15 列)。然后我可以将它与具有相同维度的其他矩阵相乘，然后导出到 Excel。

在这种方法中，我需要执行大约 100 个不同的版本...数据框中的标准/变量之一与“国家/地区”有关...并且我有一个包含 100 个国家/地区的列表，我需要执行这些操作分析为。

df = pd.read_csv("SourceFile.csv", encoding = 'latin-1')
df = df[((df.Item == cat | (df.Item == dog) | (df.Item == sheep) | (df.Item == chihuahua))
         & (df.Year == 2019)
         & (df.Country == 0) <<< This is the variable I want to repeat 100x
         ].groupby(['ID', 'Customer'])['Amount'].sum().unstack(fill_value = 0)

在我开始弄清楚如何循环浏览我的国家/地区代码列表之前，我的问题是:

(1) 这是构建分析的明智方式吗？我担心我太努力地让 Python 表现得像 Excel，而不是以最有效的方式使用 Python

(2) 我读过的很多内容都表明列表理解(或向量化)将比使用 for 循环更快......这在这种情况下相关吗？

非常感谢

Answer 1

我认为这里可以使用Series.isin而不是多个 |，然后将 Country 传递给 groupby，最后按 MultiIndex< 的 Country 级别解析输出:

np.random.seed(2020)
L = ['cat','dog','sheep','chihuahua','pig','goat']
df = pd.DataFrame({'Item':np.random.choice(L, size=20),
                   'Country':[0] * 10 + [1] * 10,
                   'ID':np.random.choice(['id1','id2','id3'], size=20),
                   'Year':2019,
                   'Amount':np.random.randint(20, size=20),
                   'Customer':np.random.choice(['cust1','cust2','cust3','cust4'], size=20)})
print (df)
         Item  Country   ID  Year  Amount Customer
0         cat        0  id1  2019      14    cust2
1         cat        0  id1  2019       4    cust3
2   chihuahua        0  id1  2019       2    cust4
3   chihuahua        0  id3  2019       3    cust4
4   chihuahua        0  id1  2019       1    cust3
5        goat        0  id2  2019       9    cust1
6   chihuahua        0  id2  2019      19    cust1
7         cat        0  id2  2019      18    cust4
8        goat        0  id3  2019      16    cust3
9         cat        0  id2  2019       1    cust1
10        cat        1  id3  2019      10    cust3
11        cat        1  id2  2019       2    cust3
12      sheep        1  id2  2019       1    cust3
13        dog        1  id3  2019      16    cust1
14  chihuahua        1  id3  2019      18    cust3
15  chihuahua        1  id3  2019       8    cust3
16      sheep        1  id3  2019      14    cust2
17  chihuahua        1  id2  2019       8    cust1
18       goat        1  id1  2019      14    cust4
19        cat        1  id3  2019      11    cust2

<小时/>

df1 = (df[df.Item.isin(['cat','dog','sheep','chihuahua']) & (df.Year == 2019)]
             .groupby(['Country','ID', 'Customer'])['Amount']
             .sum()
             .unstack(fill_value = 0))

print (df1)
Customer     cust1  cust2  cust3  cust4
Country ID                             
0       id1      0     14      5      2
        id2     20      0      0     18
        id3      0      0      0      3
1       id2      8      0      3      0
        id3     16     25     36      0    

<小时/>

print (df1.loc[0])
Customer  cust1  cust2  cust3  cust4
ID                                  
id1           0     14      5      2
id2          20      0      0     18
id3           0      0      0      3