Python - 数据框 - 无法删除重复项

Question

这让喵喵困惑了一段时间。我在原始数据下表示了以下数据集，并运行了两项检查，#1 识别样本重复项，#2 使用 drop_duplicates 删除重复项。 #1 测试确实识别了重复项，但 #2 似乎没有删除任何重复项。

raw_data = {'link':
           ['https://www.otodom.pl/oferta/mieszkanie-w-spokojnej-okolicy-gdansk-lostowice-ID43FLJ.html#cda8700ef5',
            'https://www.otodom.pl/oferta/mieszkanie-w-spokojnej-okolicy-gdansk-lostowice-ID43FLH.html#cda8700ef5',
            'https://www.otodom.pl/oferta/mieszkanie-w-spokojnej-okolicy-gdansk-lostowice-ID43FLj.html#cda8700ef5',
            'https://www.otodom.pl/oferta/mieszkanie-w-spokojnej-okolicy-gdansk-lostowice-ID43FLh.html#cda8700ef5',
            'https://www.otodom.pl/oferta/zielony-widok-mieszkanie-3m04-ID43EWU.html#9dca9667c3',
            'https://www.otodom.pl/oferta/zielony-widok-mieszkanie-3m04-ID43EWu.html#9dca9667c3',
            'https://www.otodom.pl/oferta/nowoczesne-osiedle-gotowe-do-konca-roku-bazantow-ID43vQM.html#af24036d28',
            'https://www.otodom.pl/oferta/nowoczesne-osiedle-gotowe-do-konca-roku-bazantow-ID43vQJ.html#af24036d28',
            'https://www.otodom.pl/oferta/nowoczesne-osiedle-gotowe-do-konca-roku-bazantow-ID43vQm.html#af24036d28',
            'https://www.otodom.pl/oferta/nowoczesne-osiedle-gotowe-do-konca-roku-bazantow-ID43vQj.html#af24036d28',
            'https://www.otodom.pl/oferta/mieszkanie-56-m-warszawa-ID43sWY.html#2d0084b7ea',
            'https://www.otodom.pl/oferta/mieszkanie-56-m-warszawa-ID43sWy.html#2d0084b7ea',
            'https://www.otodom.pl/oferta/idealny-2pok-apartament-0-pcc-widok-na-park-ID43q4X.html#64f19d3152',
            'https://www.otodom.pl/oferta/idealny-2pok-apartament-0-pcc-widok-na-park-ID43q4x.html#64f19d3152']}

df = pd.DataFrame(raw_data, columns = ["link"])

#duplicate check #1

a = df.iloc[12][0]
b = df.iloc[13][0]

if a == b:
    print("equal")

#duplicate check #2

df.drop_duplicates(['link'], keep='first')

输出:

https://www.otodom.pl/oferta/idealny-2pok-apartament-0-pcc-widok-na-park-ID43q4X.html#64f19d3152
https://www.otodom.pl/oferta/idealny-2pok-apartament-0-pcc-widok-na-park-ID43q4x.html#64f19d3152
equal
link
0   https://www.otodom.pl/oferta/mieszkanie-w-spok...
1   https://www.otodom.pl/oferta/mieszkanie-w-spok...
2   https://www.otodom.pl/oferta/mieszkanie-w-spok...
3   https://www.otodom.pl/oferta/mieszkanie-w-spok...
4   https://www.otodom.pl/oferta/zielony-widok-mie...
5   https://www.otodom.pl/oferta/zielony-widok-mie...
6   https://www.otodom.pl/oferta/nowoczesne-osiedl...
7   https://www.otodom.pl/oferta/nowoczesne-osiedl...
8   https://www.otodom.pl/oferta/nowoczesne-osiedl...
9   https://www.otodom.pl/oferta/nowoczesne-osiedl...
10  https://www.otodom.pl/oferta/mieszkanie-56-m-w...
11  https://www.otodom.pl/oferta/mieszkanie-56-m-w...
12  https://www.otodom.pl/oferta/idealny-2pok-apar...
13  https://www.otodom.pl/oferta/idealny-2pok-apar...

请帮助推理为什么重复项不会丢失，谢谢!

Answer 1

您必须将 drop_duplicates 的输出重新分配给 df 或新变量。它不会就地发生。

df2 = df.drop_duplicates(['link'], keep='first')