pandas - 当 CSV 输入包含多个重复列时处理 pandas 中的查询？

Question

我有一个相当简单的 CSV，如下所示:

当我使用 pandas 读取 CSV 时，具有相同名称的列会自动使用“.n”符号重命名，如下所示:

>>> import pandas as pd
>>> food = pd.read_csv("food.csv")
>>> food
    Order Number Item Description  Item Cost Item Description.1  Item Cost.1 Item Description.2  Item Cost.2
0            110        Chow Mein       5.00                NaN          NaN                NaN          NaN
1            111             Cake       1.50          Chocolate        13.10             Noodle         3.75
2            112        Chocolate      11.00              Chips         5.75                NaN          NaN
3            113         Sandwich       6.25               Milk         2.00                Ice         0.50
4            114        Chocolate      13.10              Water         0.25                NaN          NaN
5            115              Tea       1.00          Milkshake         2.80          Chocolate        13.10
6            116        Green Tea       1.25                NaN          NaN                NaN          NaN
7            117           Burger       2.00              Fries         3.50                NaN          NaN
8            118        Chocolate       5.00          Green Tea         1.50                NaN          NaN
9            119            Tonic       3.00             Burger         3.75               Milk         2.00
10           120           Orange       1.50          Milkshake         4.20                NaN          NaN
>>>

食物.csv:

Order Number,Item Description,Item Cost,Item Description,Item Cost,Item Description,Item Cost
110,Chow Mein,5,,,,
111,Cake,1.5,Chocolate,13.1,Noodle,3.75
112,Chocolate,11,Chips,5.75,,
113,Sandwich,6.25,Milk,2,Ice,0.5
114,Chocolate,13.1,Water,0.25,,
115,Tea,1,Milkshake,2.8,Chocolate,13.1
116,Green Tea,1.25,,,,
117,Burger,2,Fries,3.5,,
118,Chocolate,5,Green Tea,1.5,,
119,Tonic,3,Burger,3.75,Milk,2
120,Orange,1.5,Milkshake,4.2,,

因此，依赖于列名的查询只有在它们与第一列匹配时才有效(例如):

>>> print(food[(food['Item Description'] == "Chocolate") & (food['Item Cost'] == 13.10)]['Order Number'].to_string(index=False))
114

虽然我可以在技术上延长掩码以包括 .1 和 .2 列，但这似乎效率相对较低，尤其是当重复列的数量很大时(在这个例子中只有 3 组重复列，但在其他数据集，我有一个很大的数字，如果我只是为每一列构造一个掩码，那将无法正常工作。)

我不确定我是否以正确的方式处理这个问题，或者我是否遗漏了一些简单的东西(比如加载 CSV)，或者是否有一些我可以做的 groupbys 可以回答同样的问题(即找到订单号当订单中包含列出价格为 13.10 美元的巧克力商品时)。

如果问题是这样的:对所有订单支付的所有巧克力成本进行平均，问题会有所不同吗？

提前致谢。

Answer 1

这里有一些使用 pandas 的 wide_to_long 函数的更简单的方法(我将在另一个答案中使用@mitoRibo 提供的 df)

文档:https://pandas.pydata.org/docs/reference/api/pandas.wide_to_long.html

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Order Number': ['Order_01', 'Order_02', 'Order_03', 'Order_04', 'Order_05', 'Order_06', 'Order_07', 'Order_08', 'Order_09', 'Order_10'],
    'Item Description': ['Burger', 'Cake', 'Cake', 'Tonic', 'Green Tea', 'Sandwich', 'Orange', 'Burger', 'Cake', 'Chow Mein'],
    'Item Cost': [7, 10,     4, 1, 10, 7, 9, 9, 6, 3],
    'Item Description.1': ['Tonic', 'Burger', 'Green Tea', 'Sandwich', 'Orange', None, 'Chocolate', None, 'Chocolate', 'Tea'],
    'Item Cost.1': [4.0, 1.0, 7.0, 7.0, 8.0, np.nan, 6.0, np.nan, 8.0, 3.0],
    'Item Description.2': [None, 'Chow Mein', 'Chow Mein', 'Chocolate', 'Tea', None, 'Burger', None, 'Tea', 'Green Tea'],
    'Item Cost.2': [np.nan, 8.0, 1.0, 9.0, 9.0, np.nan, 2.0, np.nan, 1.0, 9.0],
    'Item Description.3': [None, 'Sandwich', 'Orange', 'Cake', 'Tonic', None, None, None, 'Sandwich', 'Burger'],
    'Item Cost.3': [np.nan, 5.0, 9.0, 2.0, 7.0, np.nan, np.nan, np.nan, 8.0, 4.0],
    'Item Description.4': [None, 'Green Tea', 'Burger', 'Green Tea', 'Cake', None, None, None, None, 'Orange'],
    'Item Cost.4': [np.nan, 4.0, 4.0, 3.0, 10.0, np.nan, np.nan, np.nan, np.nan, 1.0],
    'Item Description.5': [None, None, 'Tea', 'Burger', 'Chocolate', None, None, None, None, 'Sandwich'],
    'Item Cost.5': [np.nan, np.nan, 8.0, 5.0, 1.0, np.nan, np.nan, np.nan, np.nan, 4.0],
    'Item Description.6': [None, None, 'Tonic', 'Tea', 'Burger', None, None, None, None, 'Chocolate'],
    'Item Cost.6': [np.nan, np.nan, 8.0, 2.0, 8.0, np.nan, np.nan, np.nan, np.nan, 9.0],
})

df.rename(columns={'Item Description': 'Item Description.0', 'Item Cost': 'Item Cost.0'}, inplace=True)
  
long = pd.wide_to_long(df, stubnames=['Item Description', 'Item Cost'], i="Order Number", j="num_after_col_name", sep='.')