Linux : remove duplicate line

Question

我有一个文件 txt。我想删除所有重复的行。

我试过了，但是没有用

sort -ur file.txt

或

uniq -D -f 2 file.txt

文件.txt

34.78.54.21 websrv1 nameweb
34.78.54.21 nameweb

我只需要一行

Answer 1

根据您的输入，我假设您指的是第一个字段 (34.78.54.21) 的重复项。如果您只想保留每个数字的第一次出现，那么这对您有用:

awk '!a[$1]++' file.txt

输出:

34.78.54.21 websrv1 nameweb

此命令查看 $1 是否不是数组中的键。如果不是，那么它将被添加到数组中，并且将发生默认打印。对于下一行 $1 在数组中，整个事情将评估为 false 并且不打印。