python - 单词在文本中的位置

Question

Python 的 NLTK 包有一个函数色散图，它显示了所选单词在文本中的位置。如果有任何可以在 python 中计算的这种分散的数值度量？例如。我想衡量“钱”这个词是散布在文本中还是集中在一章中？

Answer 1

我相信有多种指标可用于定量衡量您所定义的某个词在整个文本中的信息量。

方法论

由于您提到章节和文本作为您希望评估的级别，基本方法是相同的:

1. 将给定的文本分成章节
2. 在章节和文本级别评估模型
3. 比较章节和文本层面的评价

如果比较超过阈值，您可以声称它是有意义的或提供信息的。可以根据模型使用这两个级别的其他指标。

模型

有几个模型可以使用。

原始计数

单词的原始计数可用于章节和文本级别。百分比阈值可用于确定一个主题作为文本的代表。

例如，如果 num_word_per_chapter/num_all_words_per_chapter > threshold 和/或 num_word_per_text/num_all_words_text > threshold 那么您可以声称它具有代表性。这可能是一个很好的基线。它本质上是一个 bag-of-words像技术。

向量空间模型

Vector space models用于信息检索和分布式语义。他们通常使用计数的稀疏向量或 TF-IDF .将两个向量与余弦相似度进行比较。更接近的矢量具有更小的角度，被认为“更相似”。

您可以为文本正文创建章节术语矩阵和平均余弦相似度指标。如果 average_cos_sim > threshold，您可以声称它对主题提供了更多信息。

实例与难点

这是一个good example of VSM与 NLTK。这可能是开始进行一些测试的好地方。

我预见的困难是:

• 章节拆分
• 寻找信息量阈值

目前我无法为您提供更实用的基于代码的答案，但我希望这能为您提供一些选择。