python - 删除文本文件中的非重复行

Question

我有一长串 100k+ 特定范围内的 IP 地址，此脚本的一个示例是:

67.0.105.76 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.123.150 0
67.0.105.76 0
67.0.123.150 0
67.0.163.127 0
67.0.123.150 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.163.127 0
67.0.105.76 0
67.0.105.76 0
67.0.105.76 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.232.158 0
67.0.105.76 0
67.0.143.13 0

我想从此列表中删除所有未多次列出的 IP，所以说我想从上面的列表中删除所有未列出 5 次或更多次的 IP。然后它会输出:

67.0.105.76 0
67.0.123.150 0
67.0.163.127 0
67.0.232.158 0

我曾尝试在 Linux 中使用 sed/uniq 来完成此操作，但无法找到执行此操作的方法，是否需要 python 脚本或类似脚本，或者是否有使用 sed/uniq 的可能方法？

使用 sort -u 100kfile，它能够删除所有重复项，但仍保留单个 ip。

Answer 1

使用 sort、uniq 和 awk:

pu@pumbair: ~  sort data.txt | uniq -c | awk '{if ($1 > 4) print $2,$3}'
67.0.105.76 0
67.0.123.150 0
67.0.163.127 0
67.0.232.158 0