shell - 删除重复行而不排序

Question

这个问题已经有答案了:

How to delete duplicate lines in a file without sorting it in Unix (9 个回答)

已关闭 4 年前。

我有一个 Python 实用程序脚本:

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

这个简单的功能( uniq 无需先排序，稳定的排序)必须作为简单的 UNIX 实用程序提供，不是吗？也许是管道中过滤器的组合？

询问原因:在我无法从任何地方执行 Python 的系统上需要此功能。

Answer 1

UNIX Bash 脚本博客 suggests :

awk '!x[$0]++'

该命令告诉 awk 要打印哪些行。变量 $0 保存一行的全部内容，方括号是数组访问。因此，对于文件的每一行，数组 x 的节点都会递增，并且如果该节点的内容先前未设置 (!)，则打印该行。