linux - 通过 Unix shell 脚本查找和删除重复的字符串。如何？

Question

我是 Unix shell 脚本新手。我知道几种不同的查找重复项的方法。但是找不到一种简单的方法来删除重复项同时保持原始顺序(因为使用 sort -u 会丢失原始顺序)。

示例:名为 dedupe.sh 的脚本

样本运行:

dedupe.sh

cat dog cat bird fish bear dog

结果为:cat dog bird fish bear

Answer 1

使用 awk :

$ printf '%s\n' cat dog cat bird fish bear dog | awk '!arr[$1]++'
cat
dog
bird
fish
bear

或

$ echo 'cat dog cat bird fish bear dog' | awk '!arr[$1]++' RS=" "

或

$ printf '%s\n' cat dog cat bird fish bear dog | sort -u

如果它在 shell 中工作，它将在脚本中工作 =)