awk - 根据第一列删除所有重复的行

Question

我有一个文件:

AX-172321889 4
AX-172321889 4
AX-172322243 2
AX-172322331 2
AX-172322347 2
AX-172322347 2
AX-172322347 2
AX-172322354 2
AX-172322383 2
AX-172322440 2
AX-172322719 7

我需要删除每 重复的或更多的行。并且不为他们每个人保留一次。我知道:

awk '!seen[$1]++' 或 sort -t'-' -k1,2n | uniq 非常接近我想要的，但这只出现一次。

我应该得到:

AX-172322243 2
AX-172322331 2
AX-172322354 2
AX-172322383 2
AX-172322440 2
AX-172322719 7

Answer 1

这可能对你有用(GNU uniq):

uniq -u file

或者如果它只是第一个字段使用:

uniq -uw 12 file

腰带和背带:

sort file | uniq -uw 12

GNU sed 解决方案:

sed -E 'H;$!d;x;s/(\n\S+ )\S+(\1\S+)+//g;s/.//' file