python - 使用 NLTK 和 Wordnet 聚类同义词

Question

给定一组词 V , 我想将 V 中的同义词分组一起。我想知道NLTK和Wordnet中是否有任何内置函数需要V作为输入并根据同义性自动对它们进行聚类。

我已经知道如何提取每个单词的同义词，但这不是我要找的。如果我这样做，当同义词集彼此相交，或者是彼此的子集/超集时，问题就会变得复杂，这需要编写一个消除冲突的函数。

作为一个例子，让我们考虑

V = ["good","constipate","bad","nice","defective","right","respectable","powerful"]

我想得到的输出是:

[('constipate'), ('nice'), ('bad', 'defective'), ('good', 'powerful', 'respectable', 'right')]

现在，根据集群的大小/数量，一些集合可能会分成几个集合，或者组合在一起。在这里，我只关心 V中的词以及它们在 V 中的同义词.

Answer 1

是的，有一种方法可以使用 nltk和 wordnet .下面是一个例子。我正在使用内置的 sysnets 并寻找“书”的同义词，

import nltk
from nltk.corpus import wordnet 

synonyms = []

for syn in wordnet.synsets('book'):
        for lemma in syn.lemmas():
            synonyms.append(lemma.name())

'book' 的同义词是

print(synonyms)
>>['book', 'book', 'volume', 'record', 'record_book', 'book', 'script', 'book', 'playscript', 'ledger', 'leger', 'account_book', 'book_of_account', 'book', 'book', 'book', 'rule_book', 'Koran', 'Quran', "al-Qur'an", 'Book', 'Bible', 'Christian_Bible', ..]

同义词的长度，

 len(synonyms)
 >>38

注意:有些同义词是动词形式，许多同义词只是“书”的不同用法。相反，如果我们采用同义词集，那么唯一词就会更少，如以下代码所示:

len(set(synonyms)) 
 >>25

使用后 set手术，

{'record', 'Quran', 'Holy_Scripture', 'Koran', 'Good_Book', 'playscript', 'book', 'Word_of_God', 'hold', 'Holy_Writ', 'script', 'leger', 'book_of_account', 'Scripture', 'ledger', 'reserve', 'volume', 'record_book', "al-Qur'an", 'Christian_Bible', 'Word', 'rule_book', 'Bible', 'Book', 'account_book'}