python - 比较 df 列中的值，将匹配项提取到 1 列，将差异提取到另一列

Question

您好，提前致谢，Python 和 pandas 的新手。

1. 我有一个 df 列 df['name']，这个大数据由具有不同长度、字母、数字、标点符号和间距的产品名称组成。这使得每个名称都有一个唯一的值，这使得很难找到某些产品的变体。

2. 然后，我按间距分割列值。

   df['name'].str.split("",expand = True)

我在这个问题中找到了一些代码，但我不知道如何应用它来迭代和比较列表，因为它使用变量和 2 个列表，而我只有一个列表。 How can I compare two lists in python and return matches ？

不是最有效的方法，但迄今为止最明显的方法是:
a = [1, 2, 3, 4, 5]
b = [9,8,7,6,5]
集合(a) & 集合(b)
{5}
如果顺序很重要，您可以使用列表推导式来完成，如下所示:
[i 代表 zip(a, b) 中的 i, j，如果 i == j]
[5]

我想要实现的是:

数据集

1.star T恤-大号-红色
2.星星T恤-大号-蓝色
3.星星T恤-小-红色
4.美丽彩虹裙小号
5.长款maxwell logan牛仔裤-浅蓝色-32L-28W
6.长款maxwell logan jeans-深蓝色-32L-28W

- 相互比较列表中的所有项目并找到最长的字符串匹配。示例: products:1,2,3 具有匹配的部分字符串 结果
列1 列2 列3 列4
1【星星T恤】【大】【红】无
2【星星T恤】【大】【蓝色】无
3【星星T恤】【小】【红】无
4【美丽彩虹裙小】NONE NONE NONE
5[长麦克斯韦洛根牛仔裤][浅蓝色][32L][28W]
6[长maxwell logan牛仔裤][深蓝色][32L][28W]

任何人都可以为我指明如何实现最终结果的正确方向。我研究了 fuzzywuzzy 和 diffilab 等模块，但不知道如何将其应用到正则表达式，但我不确定如何在具有如此多种不同格式的列表中实现字符串匹配？请在回复时您能逐步解释一下，以便我能够理解您在做什么以及为什么。仅供学习之用再次预先感谢您。

Answer 1

嗯，你的问题确实很大。我认为你必须重新考虑这样做的目的。

第一步，每一行都是相互对应的。

df['onkey'] = 1
df1 = pd.merge(df[['name','onkey']],df[['name','onkey']], on='onkey')
df1['list'] = df1.apply(lambda x:[x.name_x,x.name_y],axis=1)

第二步是找到最长的字符串匹配。

from os.path import commonprefix
df1['COL1'] = df1['list'].apply(lambda x:commonprefix(x))

删除未找到字符串匹配的行。

df1['COL1_num'] = df1['COL1'].apply(lambda x:len(x))
df1 = df1[(df1['COL1_num']!=0)]

找到最短的匹配。

df1 = df1.loc[df1.groupby('name_x')['COL1_num'].idxmin()]

合并 df 和 df1。

df = df.rename(columns ={'name':'name_x'})
df = pd.merge(df,df1[['name_x','COL1']],on='name_x',how ='left')

我们可以这样查看数据:

                                         name_x  onkey                           COL1
0                         star t-shirt-large-red      1                  star t-shirt-
1                        star t-shirt-large-blue      1                  star t-shirt-
2                         star t-shirt-small-red      1                  star t-shirt-
3                  beautiful rainbow skirt small      1  beautiful rainbow skirt small
4  long maxwell logan jeans- light blue -32L-28W      1     long maxwell logan jeans- 
5   long maxwell logan jeans- Dark blue -32L-28W      1     long maxwell logan jeans-

如您所见，我们找到了最长的字符串匹配。

处理公共(public)字符串，然后分离剩余的字符串。

df['len'] = df['COL1'].apply(lambda x: len(x))
df['other'] = df.apply(lambda x: x.name_x[x.len:],axis=1)
df['COL1'] = df['COL1'].apply(lambda x: x.strip())
df['COL1'] = df['COL1'].apply(lambda x: x[:-1] if x[-1]=='-' else x)
df['other'] = df['other'].apply(lambda x:x.split('-'))

最后，我们将它们连接起来。

df = df[['COL1','other']]
df = pd.concat([df['COL1'],df['other'].apply(pd.Series)],axis=1)

结果:

                            COL1            0     1    2
0                   star t-shirt        large   red  NaN
1                   star t-shirt        large  blue  NaN
2                   star t-shirt        small   red  NaN
3  beautiful rainbow skirt small                NaN  NaN
4       long maxwell logan jeans  light blue    32L  28W
5       long maxwell logan jeans   Dark blue    32L  28W