python - python + pandas 可以用来关联字符串列表吗？

Question

我在列表中有很多字符串数据，即

['red','tall','cat']
['dog','car','tall','green']

等- 大约 10000 个

列表可以包含 1 到 ~70 个项目。这些项目是从大约 120 种可能性的列表中抽取的。

pandas 能否对此进行关联，以便我可以看到哪些项目 red 与最强烈或最负面相关，即我想知道 red 是否在列表中. cat 也出现在该列表中的可能性有多大？

Answer 1

在我看来，这是一个常见的项集问题。

那里有几个 python 包，包括 apyori或 mlxtend .

mlxtend 用户指南中的示例:

import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori

dataset = [['Milk', 'Onion', 'Nutmeg', 'Kidney Beans', 'Eggs', 'Yogurt'],
           ['Dill', 'Onion', 'Nutmeg', 'Kidney Beans', 'Eggs', 'Yogurt'],
           ['Milk', 'Apple', 'Kidney Beans', 'Eggs'],
           ['Milk', 'Unicorn', 'Corn', 'Kidney Beans', 'Yogurt'],
           ['Corn', 'Onion', 'Onion', 'Kidney Beans', 'Ice cream', 'Eggs']]

te = TransactionEncoder()
te_ary = te.fit(dataset).transform(dataset)
df = pd.DataFrame(te_ary, columns=te.columns_)

frequent_itemsets = apriori(df, min_support=0.6, use_colnames=True)
frequent_itemsets['length'] = frequent_itemsets['itemsets'].apply(lambda x: len(x))

然后您可以按长度或支持度进行过滤，以找到最常一起出现的项目。