unix - 如何让 UNIX diff 忽略不同位置的重复行？

Question

我有两个大约 134 mb 的 CSV 文件。

我想做的就是获取两个文件的“差异”，除了行的位置无关紧要。

换句话说，假设我有:

abc,123
def,456

和

def,456
ghi,789

我不想被告知 def,456。它在第二个文件中的位置不同，但我希望它被算作没有不同。

只是做 diff file1 file2 > outputfile 是行不通的。我应该使用什么命令来执行此操作？我知道这在 PHP 中是微不足道的，但我很快就耗尽了内存。我宁愿只使用 UNIX 命令行工具。 Diff 甚至可能不是正确的工具。

Answer 1

我建议您对两个输入文件进行排序，然后比较两个排序后的版本，如下所示:

sort file1 > sorted_1
sort file2 > sorted_2

diff sorted_1 sorted_2