python - 删除重复项，但忽略空值

Question

所以我知道你可以使用这样的东西来删除重复的行:

the_data.drop_duplicates(subset=['the_key'])

但是，如果某些值的 the_key 为 null，如下所示:

   the_key  C  D
1      NaN  *  *
2      NaN     *
3      111  *  *
4      111

它将保留在 C 列中标记的内容。是否可以让 drop_duplicates 将所有 nan 视为不同的，并获得像 D 列中那样保留数据的输出？

Answer 1

使用duplicated链接为 isna并按boolean indexing过滤:

df = df[(~df['the_key'].duplicated()) | df['the_key'].isna()]
#fol oldier pandas versions
#df = df[(~df['the_key'].duplicated()) | df['the_key'].isnull()]
print (df)
   the_key  C    D
1      NaN  *    *
2      NaN       * 
3    111.0  *    *