linux - 交换文件中的列并删除重复项

Question

我有这样一个文件:

term1 term2
term3 term4
term2 term1
term5 term3
..... .....

我需要做的是按出现的任何顺序删除重复项，例如:

term1 term2

和

term2 term1

对我来说是重复的。这是一个非常长的文件，所以我不确定什么可以更快。有没有人知道如何做到这一点？也许 awk？

Answer 1

使用 perl 可以很容易地对行中的每个单词进行排序。

./scriptbelow.pl < 数据文件.txt |唯一性

#!/usr/bin/perl

foreach(sort map { reorder($_) } <>) {
    print;
}

sub reorder {
    return join(' ', sort { $a cmp $b } split(/\s+/, $_)) . "\n";
}