unix - 从文件/grep 中删除重复的行

Question

我想删除所有第二列 05408736032 相同的所有行

0009300|05408736032|89|01|001|0|0|0|1|NNNNNNYNNNNNNNNN|asdf| 0009367|05408736032|89|01|001|0|0|0|1|NNNNNNYNNNNNNNNN|adff|

这些行不连续。删除所有行很好。我不必保留其中之一。

抱歉，我的 unix fu 由于不使用而非常弱:)。

Answer 1

如果您的所有输入数据都按上述格式设置 - 即固定大小的字段 - 并且输出中的行顺序无关紧要，sort --key=8,19 --unique应该做的伎俩。如果顺序确实重要，但重复的行总是连续的，uniq -s 8 -w 11将工作。如果字段不是固定宽度但重复的行总是连续的，Pax 的 awk 脚本将起作用。在最一般的情况下，我们可能会看到一些对于单行来说有点过于复杂的东西。