python - 如何确定对句子含义最不重要的词

Question

您是否可以想到任何算法或方法来确定对句子含义最不重要的词？ 更一般地说，有什么方法可以根据每个词在句子中的重要性为其分配一些数字吗？“重要性”是指如果您要从句子中删除这个词，它几乎没有意义对意义的影响(低重要性)或对意义的重大影响(高重要性)。

Answer 1

这是一个非常模糊的问题。据我了解，您想进行关键字提取之类的操作。

词性标记 是一个好的开始。它可以让您将句子标记为词性(名词、动词、形容词等)- POS Tag NLTK .然后，您可以编写自己的规则来仅提取您感兴趣的词性。

Stopword Removal是另一种选择

Keyword Extraction 做了一堆你可以通过示例阅读的东西 -

1. 分块

2. 正在思考

3. 命名实体识别

4. 构建 CFG 和解析树

5. 关系抽取

我认为阅读本章将为您提供入门的视角和代码片段。