python - 使用 nltk 计算 pandas Dataframe 中最流行的 'two words combination' 希伯来语单词

Question

我有一个 csv 数据文件，其中包含带有希伯来语满意答案的“注释”列。

我想找到最流行的词和最流行的“2 个词组合”，它们出现的次数并将它们绘制在条形图中。

到目前为止我的代码:

PYTHONIOENCODING="UTF-8"  
df= pd.read_csv('keep.csv', encoding='utf-8' , usecols=['notes'])
words= df.notes.str.split(expand=True).stack().value_counts()

这会生成带有计数器的单词列表，但会考虑希伯来语中的所有停用词，并且不会生成“2 个单词组合”的频率。我也试过这段代码，但它不是我要找的:

 top_N = 30
 txt = df.notes.str.lower().str.replace(r'\|', ' ').str.cat(sep=' ')
 words = nltk.tokenize.word_tokenize(txt)
 word_dist = nltk.FreqDist(words)
 rslt = pd.DataFrame(word_dist.most_common(top_N),
                columns=['Word', 'Frequency'])
 print(rslt)
 print('=' * 60)

我如何使用 nltk 来做到这一点？

Answer 1

除了 jezrael 发布的内容之外，我还想介绍实现此目的的另一种 hack。由于您正在尝试获得单个词以及两个词的频率，因此您还可以利用 everygram功能。

给定一个数据框:

import pandas as pd

df = pd.DataFrame()
df['notes'] = ['this is sentence one', 'is sentence two this one', 'sentence one was good']

使用everygrams(word_tokenize(x), 1, 2)获取单词和双词形式，获取一、二、三词组合的组合，可以改2到 3，依此类推。所以在你的情况下应该是:

from nltk import everygrams, word_tokenize

x = df['notes'].apply(lambda x: [' '.join(ng) for ng in everygrams(word_tokenize(x), 1, 2)]).to_frame()

此时你应该看到:

                                               notes
0  [this, is, sentence, one, this is, is sentence...
1  [is, sentence, two, this, one, is sentence, se...
2  [sentence, one, was, good, sentence one, one w...

您现在可以通过展平列表和 value_counts 来获取计数:

import numpy as np

flattenList = pd.Series(np.concatenate(x.notes))
freqDf = flattenList.value_counts().sort_index().rename_axis('notes').reset_index(name = 'frequency')

最终输出:

           notes  frequency
0           good          1
1             is          2
2    is sentence          2
3            one          3
4        one was          1
5       sentence          3
6   sentence one          2
7   sentence two          1
8           this          2
9        this is          1
10      this one          1
11           two          1
12      two this          1
13           was          1
14      was good          1

现在绘制图形很容易:

import matplotlib.pyplot as plt 

plt.figure()
flattenList.value_counts().plot(kind = 'bar', title = 'Count of 1-word and 2-word frequencies')
plt.xlabel('Words')
plt.ylabel('Count')
plt.show()

输出: