python - stemmer 和 lemmatizer 似乎都不太好用，我该怎么办？

Question

我是文本分析的新手，正在尝试创建一个词袋模型(使用 sklearn 的 CountVectorizer 方法)。我有一个数据框，其中有一列文本包含“酸”、“酸性”、“酸度”、“木材”、“木质”、“木质”等词。

我认为“acid”和“wood”应该是最终输出中唯一包含的词，但是词干提取和词形还原似乎都无法实现这一点。

词干生成 'acid','wood','woodi',woodsi'并且词形还原会产生更差的输出 'acid' 'acidic' 'acidity' 'wood' 'woodsy' 'woody'。我认为这是由于没有准确指定词性，尽管我不确定该规范应该放在哪里。我已将它包含在 X = vectorizer.fit_transform(df['text'],'a') 行中(我相信大多数词应该是形容词)但是，它并没有使输出差异。

我可以做些什么来提高输出？

我的完整代码如下；

!pip install nltk
nltk.download('omw-1.4')  
import nltk
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from nltk.stem import WordNetLemmatizer 

数据框:

df = pd.DataFrame()
df['text']=['acid', 'acidic', 'acidity', 'wood', 'woodsy', 'woody']

带词干分析器的 CountVectorizer:

analyzer = CountVectorizer().build_analyzer()
stemmer = nltk.stem.SnowballStemmer('english')
lemmatizer = WordNetLemmatizer()

def stemmed_words(doc):
    return (stemmer.stem(w) for w in analyzer(doc))

vectorizer = CountVectorizer(stop_words='english',analyzer=stemmed_words)
X = vectorizer.fit_transform(df['text'])
df_bow_sklearn = pd.DataFrame(X.toarray(),columns=vectorizer.get_feature_names())
df_bow_sklearn.head()

CountVectorizer 与 Lemmatizer:

analyzer = CountVectorizer().build_analyzer()
stemmer = nltk.stem.SnowballStemmer('english')
lemmatizer = WordNetLemmatizer()

def lemed_words(doc):
    return(lemmatizer.lemmatize(w) for w in analyzer(doc))

vectorizer = CountVectorizer(stop_words='english',analyzer=lemed_words)
X = vectorizer.fit_transform(df['text'],'a')
df_bow_sklearn = pd.DataFrame(X.toarray(),columns=vectorizer.get_feature_names())
df_bow_sklearn.head()

Answer 1

可能是 wordnetlemmatizer 和词干分析器性能不佳的简单问题。

尝试不同的，例如...词干分析器:

• 波特(-> from nltk.stem import PorterStemmer)
• 兰开斯特(-> 从 nltk.stem 导入 LancasterStemmer)

词形还原器:

• spacy ( -> import spacy)
• IWNLP(-> 从 spacy_iwnlp 导入 spaCyIWNLP)
• HanTa(-> from HanTa import HanoverTagger/注意:或多或少受过德语训练)

有同样的问题并切换到不同的 Stemmer 和 Lemmatizer 解决了这个问题。有关如何正确实现词干提取器和词干还原器的更详细说明，在网络上进行快速搜索会发现所有情况下的优秀示例。