python - 在包含项目列表的列中查找共同值

Question

我有一个数据集，其中包含几列，这些列是项目列表。我在下面给出了一个例子。我试图在列表中找到具有 100% 匹配项的条目。我想找到 90% 或更低的那些。

>>> df2 = pd.DataFrame({ 'ID':['1', '2', '3', '4', '5', '6', '7', '8'], 'Productdetailed': [['Phone', 'Watch', 'Pen'], ['Pencil', 'fork', 'Eraser'], ['Apple', 'Mango', 'Orange'], ['Something', 'Nothing', 'Everything'], ['Eraser', 'fork', 'Pencil'], ['Phone', 'Watch', 'Pen'],['Apple', 'Mango'], ['Pen', 'Phone', 'Watch']]})

>>> df2
ID                   Productdetailed
0  1               [Phone, Watch, Pen]
1  2            [Pencil, fork, Eraser]
2  3            [Apple, Mango, Orange]
3  4  [Something, Nothing, Everything]
4  5            [Eraser, fork, Pencil]
5  6               [Phone, Watch, Pen]
6  7                    [Apple, Mango]
7  8               [Pen, Phone, Watch]

如果您注意到 df2 中的索引 0 和索引 7，它们具有相同的项目集但顺序不同。其中索引 0 和索引 5 具有相同顺序的相同项目。我想将它们视为匹配项。我尝试了 groupby 和 series.isin()。我还尝试通过将数据集分成两部分来进行交集，但它因类型错误而失败。

首先，我想计算完全匹配项的数量(匹配行数)以及它匹配的行索引号。但是当 df2 中的索引 2 和索引 6 等项仅部分匹配时。我想说出匹配项的百分比以及对应的列号。

我提到过。我试图将特定列值的数据分成两部分。然后

applied df2['Intersection'] = 
     [list(set(a).intersection(set(b))) 
         for a, b in zip(df2_part1.Productdetailed, df2_part2.Productdetailed)
     ]

，其中 a 和 b 是 df2_part1 和 的碎片中的 Productdetailed 列df2_part2.

有没有办法做到这一点？请帮忙

Answer 1

要知道精确匹配:

df2["Productdetailed"]=df2["Productdetailed"].sort_values()
# create new colum from the sorted list. More easy to work with pivot table
df2['Productdetailed_str'] = df2['Productdetailed'].apply(lambda x: ', '.join(x))
df2["hit"] = 1
df3 = (df2.pivot_table(index=["Productdetailed_str"],
                 values=["ID", "hit"],
                aggfunc={'ID': lambda x: ', '.join(x), 'hit': 'sum'}
               ))

命中是出现的次数。结果 df3:

                                  ID  hit
Productdetailed_str                      
Apple, Mango                       7    1
Apple, Mango, Orange               3    1
Eraser, fork, Pencil               5    1
Pen, Phone, Watch                  8    1
Pencil, fork, Eraser               2    1
Phone, Watch, Pen               1, 6    2
Something, Nothing, Everything     4    1

部分匹配比较困难，但您可以开始拆分列表并使用数据透视表:

test = df2.apply(lambda x: pd.Series(x['Productdetailed']),axis=1).stack().reset_index(level=1, drop=True).to_frame(name='list').join(df2)

如果你运行测试。您在“列表列”中有“Productdetailed 列”列表中的单词。另外，您有 ID...所以我认为您可以使用数据透视表提取信息...