python - 在 Pandas 列中处理人名的更好/更快的方法？

Question

我正在处理大量数据，其中包括用于人名的标准五列(前缀、名字、中间名、姓氏、后缀)，我想将它们合并到一个单独的列中作为一个可读的名称。我遇到的问题是处理空白值 - 这个问题会产生间距问题。另外，我无法修改原始列。我目前的过程感觉有点疯狂(但它有效!)所以我正在寻找更优雅的解决方案。

我当前的代码:

def add_space_prefix(x):
    x = str(x)
    if len(x) > 0:
        return x + ' '
    else:
        return x


def add_space_middle(x):
    x = str(x)
    if len(x) > 0:
        return ' ' + x
    else:
        return x


def add_space_suffix(x):
    x = str(x)
    if len(x) > 0:
        return ', ' + x
    else:
        return x`

df["middlename"] = 
df["middlename"].map(lambda x: add_space_middle(x))
df["prefix"] = df["prefix"].map(lambda x: add_space_prefix(x))
df["suffix"] = df["suffix"].map(lambda x: add_space_suffix(x))
df['fullname'] = df["prefix"] + df["firstname"] + df[
        "middlename"] + ' ' + df["lastname"] + df['suffix']

示例数据框

    prefix  firstname   middlename  lastname    suffix  fullname
0           Michael                 Hobart      Jr.     Michael Jobart, Jr.
1   Mr.     Alan                    Lilt                Mr. Alan Lilt
2           Jon         A.          Smith       III     Jon A. Smith, III
3           Joe                     Miller              Joe Miller
4           Mika        Jennifer    Shabosky            Mika Jennifer Shabosky
5   Mrs.    Angela                  Calder              Mrs. Angela Calder
6           Boris       Al          Bert        Esq.    Boris Al Bert, Esq.
7   Dr.     Natasha                 Chorus              Dr. Natasha Chorus
8           Bill                    Gibbons             Bill Gibbons

Answer 1

选项 1
' '.join 和 pd.Series.str
在这个解决方案中，我们用空格连接整行。这可能会导致字符串的开头或结尾有空格，或者中间有 2 个或更多空格。我们通过链接字符串访问器方法来处理这个问题。

df.assign(
    lastname=df.lastname + ','
).apply(' '.join, 1).str.replace('\s+', ' ').str.strip(' ,')

0       Michael Hobart, Jr.
1             Mr. Alan Lilt
2         Jon A. Smith, III
3                Joe Miller
4    Mika Jennifer Shabosky
5        Mrs. Angela Calder
6       Boris Al Bert, Esq.
7        Dr. Natasha Chorus
8              Bill Gibbons
dtype: object

---

df['fullname'] = df.assign(
    lastname=df.lastname + ','
).apply(' '.join, 1).str.replace('\s+', ' ').str.strip(' ,')
df

  prefix firstname middlename  lastname suffix                fullname
0          Michael               Hobart    Jr.     Michael Hobart, Jr.
1    Mr.      Alan                 Lilt                  Mr. Alan Lilt
2              Jon         A.     Smith    III       Jon A. Smith, III
3              Joe               Miller                     Joe Miller
4             Mika   Jennifer  Shabosky         Mika Jennifer Shabosky
5   Mrs.    Angela               Calder             Mrs. Angela Calder
6            Boris         Al      Bert   Esq.     Boris Al Bert, Esq.
7    Dr.   Natasha               Chorus             Dr. Natasha Chorus
8             Bill              Gibbons                   Bill Gibbons

---

选项 2
列表理解
在此解决方案中，我们执行与第一个解决方案相同的事件，但我们将字符串操作捆绑在一起并在一个理解范围内。

[re.sub(r'\s+', ' ', ' '.join(s)).strip(' ,')
 for s in df.assign(lastname=df.lastname + ',').values.tolist()]

['Michael Hobart, Jr.',
 'Mr. Alan Lilt',
 'Jon A. Smith, III',
 'Joe Miller',
 'Mika Jennifer Shabosky',
 'Mrs. Angela Calder',
 'Boris Al Bert, Esq.',
 'Dr. Natasha Chorus',
 'Bill Gibbons']

---

df['fullname'] = [re.sub(r'\s+', ' ', ' '.join(s)).strip(' ,')
                  for s in df.assign(lastname=df.lastname + ',').values.tolist()]
df

  prefix firstname middlename  lastname suffix                fullname
0          Michael               Hobart    Jr.     Michael Hobart, Jr.
1    Mr.      Alan                 Lilt                  Mr. Alan Lilt
2              Jon         A.     Smith    III       Jon A. Smith, III
3              Joe               Miller                     Joe Miller
4             Mika   Jennifer  Shabosky         Mika Jennifer Shabosky
5   Mrs.    Angela               Calder             Mrs. Angela Calder
6            Boris         Al      Bert   Esq.     Boris Al Bert, Esq.
7    Dr.   Natasha               Chorus             Dr. Natasha Chorus
8             Bill              Gibbons                   Bill Gibbons

---

选项 3
pd.replace 和 pd.DataFrame.stack
这个有点不同，因为我们用 np.nan 替换空白 '' 这样当我们 stack np.nan 自然会被丢弃。这使得与 ' ' 的连接更加直接。

df.assign(
    lastname=df.lastname + ','
).replace('', np.nan).stack().groupby(level=0).apply(' '.join).str.strip(',')

0       Michael Hobart, Jr.
1             Mr. Alan Lilt
2         Jon A. Smith, III
3                Joe Miller
4    Mika Jennifer Shabosky
5        Mrs. Angela Calder
6       Boris Al Bert, Esq.
7        Dr. Natasha Chorus
8              Bill Gibbons
dtype: object

---

df['fullname'] = df.assign(
    lastname=df.lastname + ','
).replace('', np.nan).stack().groupby(level=0).apply(' '.join).str.strip(',')
df

  prefix firstname middlename  lastname suffix                fullname
0          Michael               Hobart    Jr.     Michael Hobart, Jr.
1    Mr.      Alan                 Lilt                  Mr. Alan Lilt
2              Jon         A.     Smith    III       Jon A. Smith, III
3              Joe               Miller                     Joe Miller
4             Mika   Jennifer  Shabosky         Mika Jennifer Shabosky
5   Mrs.    Angela               Calder             Mrs. Angela Calder
6            Boris         Al      Bert   Esq.     Boris Al Bert, Esq.
7    Dr.   Natasha               Chorus             Dr. Natasha Chorus
8             Bill              Gibbons                   Bill Gibbons

---

时机
理解内的捆绑是最快的!

%timeit df.assign(fullname=df.replace('', np.nan).stack().groupby(level=0).apply(' '.join))
%timeit df.assign(fullname=df.apply(' '.join, 1).str.replace('\s+', ' ').str.strip())
%timeit df.assign(fullname=[re.sub(r'\s+', ' ', ' '.join(s)).strip() for s in df.values.tolist()])

100 loops, best of 3: 2.51 ms per loop
1000 loops, best of 3: 979 µs per loop
1000 loops, best of 3: 384 µs per loop