python - 按用法对单词排序

Question

我有一个英语单词列表(大约 10000 个)，我想根据它们在文学、报纸、博客等中的用法对它们进行排序。我可以用 Python 或其他语言对它们进行排序吗？我听说过 NLTK，这是我所知道的可以提供帮助的最近的图书馆。或者这是其他工具的任务？

谢谢

Answer 1

Python 和 NLTK 是对单词列表进行排序的完美工具，因为 NLTK 带有一些英语语料库，您可以从中提取频率信息。

下面的代码将按照棕色语料库中词频的顺序打印给定的wordlist:

import nltk
from nltk.corpus import brown

wordlist = ["corpus","house","the","Peter","asdf"]
# collect frequency information from brown corpus, might take a few seconds
freqs = nltk.FreqDist([w.lower() for w in brown.words()])
# sort wordlist by word frequency
wordlist_sorted = sorted(wordlist, key=lambda x: freqs[x.lower()], reverse=True)
# print the sorted list
for w in wordlist_sorted:
    print w

输出:

>>> 
the
house
Peter
corpus
asdf

如果您想使用不同的语料库或获取更多信息，您应该查看 chapter 2 of the nltk book .