sed - 如何删除文件中的重复行...AWK、SED、UNIQ 不适用于我的文件

Question

我找到了很多方法来做到这一点，AWK、SED、UNIQ，但它们都不适用于我的文件。

我想删除重复的行。这是我的文件的一部分示例:

KTBX
KFSO
KCLK
KTBX
KFSO
KCLK
PAJZ
PAJZ

注意:当我从文件中剪切和粘贴时，我不得不手动添加换行符……出于某种原因，它会将所有变量放在一行中。让我觉得我的 44,000 行文本文件实际上只有“1”行？有没有办法修改它以便我可以删除复制品？

Answer 1

您可以使用此命令查看所有非打印字符:

od -c oldfile

如果你所有的记录都在一行上，你可以使用sed to replace带有换行符的空格(空格、制表符、换行符):

sed -e 's/\s\+/\n/g' oldfile > oldfile.1

一旦你有多行，这个 awk 一行:

awk '!x[$0]++' oldfile.1 > newfile

我的文件:

KTBX
KFSO
KCLK
PAJZ