linux - csv 删除一列中具有重复值的所有行

Question

例子1.csv

id1, value1
id2, value2
id3, value3
id1, value4

例子2.csv

"06e04,0428","405872,8637110"
"06e04,0428","405872,8637111"
"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"

需要去掉column1中有重复值的行，输出如下

要求的输出

example1_out.csv

id2, value2
id3, value3

example2_out.csv

"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"

有一些解决方案可以删除重复记录，如本 SO question 中那样保留重复记录之一。 .然而，在这种情况下，所有具有 column1 重复值的行都需要从输出中排除。

Answer 1

这个 awk 可以在一个命令中完成:

awk -F, '{arr[$1]=$0} seen[$1]++{delete arr[$1]} END{for (i in arr) print arr[i]}' file.csv

id2, value2
id3, value3

---

对于您编辑的问题，请使用:

awk -F'","' '{arr[$1]=$0} seen[$1]++{delete arr[$1]} END{for (i in arr) print arr[i]}' file.csv

"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"