linux - 如何使用 linux 命令从纯文本文件中删除重复的单词

Question

我有一个包含单词的纯文本文件，单词之间用逗号分隔，例如:

word1, word2, word3, word2, word4, word5, word 3, word6, word7, word3

我想删除重复项并成为:

word1, word2, word3, word4, word5, word6, word7

有什么想法吗？我想，egrep 可以帮助我，但我不确定如何使用它......

Answer 1

假设每行一个单词，并且文件已经排序:

uniq filename

如果文件未排序:

sort filename | uniq

如果它们不是每行一个，并且您不介意它们是每行一个:

tr -s [:space:] \\n < filename | sort | uniq

不过，这并没有删除标点符号，所以也许你想要:

tr -s [:space:][:punct:] \\n < filename | sort | uniq

但这会从带连字符的单词中删除连字符。 “man tr”以获得更多选项。