python - 如何遍历数据框的所有行以将查找函数应用于字符串值并将结果应用于新列？

Question

我有一个数据框，其中每一行(人)都有几列个人数据。我想应用一个函数在区域列表中查找每个人的城市或州，然后将结果应用到同一数据框中的新列“区域”。

我已经能够使用非常简化的数据框进行相同的操作，其中包含颜色和车辆的类别(见下文)。但是当我尝试用个人数据来做时，它不会以同样的方式工作，我不明白为什么。

我已经通读了许多关于 lambda 函数的文章，但我认为我要问的太复杂了。大多数解决方案都处理数值数据，而我使用的是字符串，但正如我所说，我能够让它与一个数据集一起工作。显然我是新来的。我也很感激有关如何将新列构建为函数的一部分而不是必须将其作为单独步骤构建的建议，但这并没有像主要问题那样让我感到沮丧。

这个例子有效:

# Python: import pandas
import pandas as pd
# Simple dataframe. Empty column 'type'.
df = pd.DataFrame({'one':['1','2','3','4','5','6','7','8'], 
                  'two':['A','B','C','D','E','F','G','H'], 
                  'three': ['car','bus','red','blue','truck','pencil','yellow','green'],
                  'type':''})

df 显示:

    one two three   type
0   1   A   car     
1   2   B   bus     
2   3   C   red     
3   4   D   blue    
4   5   E   truck   
5   6   F   pencil  
6   7   G   yellow  
7   8   H   green   

现在定义列表和自定义函数:

# Definte lists of colors and vehicles
colors = ['red','blue','green','yellow']
vehicles = ['car','truck','bus','motorcycle']

# Create function 'celltype' to return values based on x
def celltype (x):
    if x in colors: return 'color' 
    elif x in vehicles: return 'vehicle'
    else: return 'other'

然后构造一个循环遍历每一行并应用函数:

# Write loop to iterate through df rows and apply function 'celltype' to column 'three' in each row
for index, row in df.iterrows(): 
    row['type'] = celltype(row['three'])

在这种情况下，结果正是我想要的:

    one two three   type
0   1   A   car     vehicle
1   2   B   bus     vehicle
2   3   C   red     color
3   4   D   blue    color
4   5   E   truck   vehicle
5   6   F   pencil  other
6   7   G   yellow  color
7   8   H   green   color

---

这个例子不起作用，我不知道为什么:

df1 = pd.DataFrame({'Last Name':['SMITH','JONES','WILSON','DOYLE','ANDERSON'], 'First Name':['TOM','DICK','HARRY','MICHAEL','KEVIN'],
                    'Code':[12,34,56,78,90], 'Deparment':['Research','Management','Maintenance','Marketing','IT'],
                    'City':['NEW YORK','BOSTON','SAN FRANCISCO','DALLAS','DETROIT'], 'State':['NY','MA','CA','TX','MI'], 'Region':''}) 

df1 显示:

    Last Name   First Name  Code    Deparment   City        State   Region
0   SMITH       TOM         12  Research        NEW YORK    NY  
1   JONES       DICK        34  Management      BOSTON      MA  
2   WILSON      HARRY       56  Maintenance     SAN FRANCISCO   CA  
3   DOYLE       MICHAEL     78  Marketing       DALLAS      TX  
4   ANDERSON    KEVIN       90  IT              DETROIT     MI  

同样，定义列表和函数:

# Define lists for regions
east = ['NEW YORK','BOSTON']
west = ['SAN FRANCISCO','LOS ANGELES']
south = ['TX']

# Create function 'region' to return values based on x
def region (x):
    if x in east: return 'east' 
    elif x in west: return 'west'
    elif x in south: return 'south'
    else: return 'other'

# Write loop to iterate through df1 rows and apply function 'region' to column 'City' in each row
for index, row in df1.iterrows(): 
    row['Region'] = region(row['City'])
    if row['Region'] == 'other': row['Region'] = region(row['State'])

这导致 df1 不变。 “地区”列仍为空白。我们应该看到“东”、“东”、“西”、“南”、“其他”。代码中的唯一区别是附加的“if”语句，用于按州捕获达拉斯(这是我的真实世界数据集所需要的)。但我认为这条线是合理的，没有它我得到了相同的结果。

Answer 1

首先，apply 和 iterrows 很慢，所以永远不要使用它们。

在这种情况下，我通常做的是创建一对 forward 和 backward 指令:

forward = {'east': east,
           'west': west,
           'south': south}

backward = {x:k for k,v in forward.items() for x in v}

然后用 map 更新。由于您想基于两列进行更新，fillna 会有所帮助:

df1['Region'] = (df1['State'].map(backward)
                    .fillna(df1['City'].map(backward))
                    .fillna('other')
                )

给出:

  Last Name First Name  Code    Deparment           City State Region
0     SMITH        TOM    12     Research       NEW YORK    NY   east
1     JONES       DICK    34   Management         BOSTON    MA   east
2    WILSON      HARRY    56  Maintenance  SAN FRANCISCO    CA   west
3     DOYLE    MICHAEL    78    Marketing         DALLAS    TX  south
4  ANDERSON      KEVIN    90           IT        DETROIT    MI  other