python - 从文件中删除停用词

Question

我想从我的文件的数据列中删除停用词。我过滤掉了终端用户说话时的线路。但它不会使用 usertext.apply(lambda x: [word for word in x if word not in stop_words]) 过滤掉停用词我究竟做错了什么？

import pandas as pd
from stop_words  import get_stop_words
df = pd.read_csv("F:/textclustering/data/cleandata.csv", encoding="iso-8859-1")
usertext = df[df.Role.str.contains("End-user",na=False)][['Data','chatid']]
stop_words = get_stop_words('dutch')
clean = usertext.apply(lambda x: [word for word in x if word not in stop_words])
print(clean)

Answer 1

您可以构建停用词的正则表达式模式并调用矢量化的 str.replace 来删除它们:

In [124]:
stop_words = ['a','not','the']
stop_words_pat = '|'.join(['\\b' + stop +  '\\b' for stop in stop_words])
stop_words_pat

Out[124]:
'\\ba\\b|\\bnot\\b|\\bthe\\b'

In [125]:    
df = pd.DataFrame({'text':['a to the b', 'the knot ace a']})
df['text'].str.replace(stop_words_pat, '')

Out[125]:
0         to  b
1     knot ace 
Name: text, dtype: object

在这里，我们执行列表推导式，用 '\b' 围绕每个停用词构建一个模式，这是一个中断，然后我们使用 or 所有单词'|'