python - 使用 Python 从基于 Topic 的文本中提取关键短语

Question

我有一个包含 3 列的大型数据集，列是文本、短语和主题。
我想找到一种基于主题提取关键短语(短语列)的方法。
Key-Phrase 可以是文本值的一部分，也可以是整个文本值。

import pandas as pd


text = ["great game with a lot of amazing goals from both teams",
        "goalkeepers from both teams made misteke",
        "he won all four grand slam championchips",
        "the best player from three-point line",
        "Novak Djokovic is the best player of all time",
        "amazing slam dunks from the best players",
        "he deserved yellow-card for this foul",
        "free throw points"]

phrase = ["goals", "goalkeepers", "grand slam championchips", "three-point line", "Novak Djokovic", "slam dunks", "yellow-card", "free throw points"]

topic = ["football", "football", "tennis", "basketball", "tennis", "basketball", "football", "basketball"]

df = pd.DataFrame({"text":text,
                   "phrase":phrase,
                   "topic":topic})

print(df.text)
print(df.phrase)

我在寻找执行此类操作的路径时遇到了大麻烦，因为我的数据集中有超过 50000 行，大约有 48000 个独特的短语值和 3 个不同的主题。

我想建立一个包含所有足球、篮球和网球主题的数据集并不是最好的解决方案。所以我正在考虑为此制作某种 ML 模型，但这又意味着我将有 2 个特征(文本和主题)和一个结果(短语)，但我的结果中将有超过 48000 个不同的类，这不是一个好方法。

我正在考虑使用文本列作为特征并应用分类模型以找到情绪。之后我可以使用预测的情绪来提取关键特征，但我不知道如何提取它们。

还有一个问题是，当我尝试使用 CountVectorizer 对情绪进行分类时，我的准确率只有 66%。或 TfidfTransformer使用随机森林、决策树或任何其他分类算法，如果我使用 TextBlob，准确率也为 66%。用于情感分析。

有什么帮助吗？

Answer 1

看起来这里的一个好方法是使用 Latent Dirichlet allocation模型，这是所谓的 topic models 的示例.

一个 LDA是一个无监督模型，它在一组观察中找到相似的组，然后您可以使用这些组为每个组分配一个主题。在这里，我将通过使用 text 中的句子训练模型来介绍解决此问题的方法。柱子。虽然在这种情况下 phrases具有足够的代表性并包含模型捕获的必要信息，那么它们也可能是训练模型的好(可能更好)候选者，尽管您最好自己判断。

在训练模型之前，您需要应用一些预处理步骤，包括对句子进行标记、删除停用词、词形还原和词干提取。为此，您可以使用 nltk :

from nltk.stem import WordNetLemmatizer
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
import lda
from sklearn.feature_extraction.text import CountVectorizer

ignore = set(stopwords.words('english'))
stemmer = WordNetLemmatizer()
text = []
for sentence in df.text:
    words = word_tokenize(sentence)
    stemmed = []
    for word in words:
        if word not in ignore:
            stemmed.append(stemmer.lemmatize(word))
    text.append(' '.join(stemmed))

现在我们有了更合适的语料来训练模型:

print(text)

['great game lot amazing goal team',
 'goalkeeper team made misteke',
 'four grand slam championchips',
 'best player three-point line',
 'Novak Djokovic best player time',
 'amazing slam dunk best player',
 'deserved yellow-card foul',
 'free throw point']

然后我们可以通过 CountVectorizer 将文本转换为标记计数矩阵。 ，这是输入 LDA将期待:

vec = CountVectorizer(analyzer='word', ngram_range=(1,1))
X = vec.fit_transform(text)

请注意，您可以使用 ngram参数以缩小您要考虑训练模型的 n-gram 范围。通过设置 ngram_range=(1,2)例如，您最终会得到包含所有单个单词以及 2-grams 的特征。在每个句子中，这是一个训练过的例子 CountVectorizer与 ngram_range=(1,2) :

vec.get_feature_names()
['amazing',
 'amazing goal',
 'amazing slam',
 'best',
 'best player',
 ....

使用优势 n-grams是你还可以找到 Key-Phrases除了单个单词。

然后我们可以训练 LDA无论您想要多少主题，在这种情况下，我都会选择 3主题(请注意，这与 topics 列无关)，您可以将其视为 Key-Phrases - 或 words在这种情况下 - 你提到的。在这里我将使用 lda ，尽管有几个选项，例如 gensim .
每个主题都将与训练过的词汇表中的一组单词相关联，每个单词都有一个分数，用于衡量单词在主题中的相关性。

model = lda.LDA(n_topics=3, random_state=1)
model.fit(X)

通过 topic_word_我们现在可以获得与每个主题相关的这些分数。我们可以使用 argsort对分数向量进行排序，并用它来索引特征名称向量，我们可以用 vec.get_feature_names得到:

topic_word = model.topic_word_

vocab = vec.get_feature_names()
n_top_words = 3

for i, topic_dist in enumerate(topic_word):
    topic_words = np.array(vocab)[np.argsort(topic_dist)][:-(n_top_words+1):-1]
    print('Topic {}: {}'.format(i, ' '.join(topic_words)))

Topic 0: best player point
Topic 1: amazing team slam
Topic 2: yellow novak card

在这种情况下，打印的结果并没有真正代表多少，因为模型已经用问题中的样本进行了训练，但是通过使用整个语料库进行训练，您应该会看到更清晰、更有意义的主题。

另请注意，对于此示例，我使用了整个词汇表来训练模型。但是，在您的情况下，似乎更有意义的是根据不同的 topics 将文本列分成组。你已经有了，和 在每个组上训练一个单独的模型 .但希望这能让你对如何进行有一个好主意。