c# - 如何确定一个词的独特性？

Question

我有一个包含大约 300,000 个单词的文本文件。每个单词有 5 个字母。

我希望能够确定每个词在互联网上的独特性。

我的一个想法是用谷歌搜索这个词，看看它产生了多少结果。不幸的是，这违反了他们的服务条款。

我正在尝试考虑任何其他方式，但它必须涉及对某些网站进行大量查询，我怀疑他们会不会非常感激。

有人有其他想法吗？编程语言并不重要，但我更喜欢 C#。

Answer 1

要查找“在书中”出现的频率，您可以使用 Google Ngram dataset ，但这不是“互联网”。如果这是出于学术目的 Bing alternative也可能有效，它基于互联网频率。