python - 如何在忽略标点符号的情况下删除数据框中的重复项？

Question

我有以下数据框 -

  print df

  Name | Role   |
  Mark | Admin  |
  Mark | Admin. |

  df = df.drop_duplicates()
  print df

  Name | Role  |
  Mark | Admin |
  Mark | Admin. |

我想忽略任何前导或前面的标点符号(在本例中为句号)并删除重复项。

预期输出 -

  df = df.drop_duplicates()
  print df

  Name | Role  |
  Mark | Admin |

Answer 1

使用Series.str.strip所有 标点符号 和所有列的空格 DataFrame.apply , 通过 DataFrame.duplicated 获取所有重复项并按 boolean indexing 过滤:

import string
df = df[~df.apply(lambda x: x.str.strip(string.punctuation + ' ')).duplicated()]

print (df)
   Name    Role
0  Mark   Admin

另一个想法是处理删除标点符号的数据:

import string
df1 = df.apply(lambda x: x.str.strip(string.punctuation + ' ')).drop_duplicates()

print (df1)
   Name   Role
0  Mark  Admin

详细信息

#added list for see last space
print ([string.punctuation + ' '])
['!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ ']