python - 检查文本列 pandas 中停用词的数量

Question

如何检查文本列 pandas 中存在的停用词数量。我有一个庞大的数据集，非常感谢高效的方法。

from nltk.corpus import stopwords    
stop_words = set(stopwords.words('english'))

print(df)
      text                      
0  stackoverflow is good              
1  stackoverflow is not good     

这是我想要的输出吗？

print(df)
      text                      number_of_stopwords
0  stackoverflow is good              1
1  stackoverflow is not good          2

我试过类似下面的方法，但没有用。

df.str.split().apply(lambda x: len(x in stop_words))

Answer 1

使用集的交集:

from nltk.corpus import stopwords    
stop_words = set(stopwords.words('english'))

df['n'] = df['text'].str.split().apply(lambda x: len(set(x) & stop_words))

或者:

df['n'] = df['text'].apply(lambda x: len(set(x.split()) & stop_words))

---

print (df)
                        text  n
0      stackoverflow is good  1
1  stackoverflow is not good  2