linux - 使用 awk 或 sed 从多个文件中消除重复行

Question

我想知道如何消除多个文件中的重复行。我使用这个命令来获取重复的行，但它只显示了共同的行:

sort *.txt | uniq -d | fgrep -f - *.txt | sort -t : -k 2

例如，如果我有以下文件:

文件1.txt:

AAA
BBB
CCC

文件2.txt:

AAA
EEE
FFF

文件3.txt:

BBB
ZZZ
...

文件20.txt:

AAA
BBB
TTT

我想要的结果是:

文件1.txt:

AAA
BBB
CCC

文件2.txt:

EEE
FFF

文件3.txt:

ZZZ
....

文件20.txt:

TTT

Answer 1

不要使用 uniq 的 -d 标志。这将只显示重复的行。

来自 uniq --help:

-d, --repeated        only print duplicate lines, one for each group

相反，使用不带参数的 uniq:

sort *.txt | uniq | ...

或者，更简单地说，sort 可以为您统一化:

sort -u *.txt | ...