bash - 如何从文档中删除重复的短语？

Question

有没有一种简单的方法可以从大型文本文件中删除重复的内容？能够检测重复的句子(以“。”分隔，甚至更好地找到句子片段的重复项(例如 4 个单词的文本)会更好。

Answer 1

正如其他人指出的那样，删除重复的单词很容易。任何比这更复杂的事情，你就会进入 Natural Language Processing领土。 Bash 不是最好的工具——在文明时代，你需要一个稍微优雅一点的武器。

我个人推荐Python它是 NLTK (自然语言工具包)。在深入研究之前，可能值得阅读一下 NLP，以便您知道您实际需要做什么。例如，“4 个单词的文本片段”在文献中被称为 4-gram(一般情况下为 n-grams)。该工具包将帮助您找到这些，以及更多。

当然，可能有 Python/NLTK 的替代品，但我不熟悉任何替代品。