linux - 脚本计数文件的唯一记录

Question

我有一个文件 script.sh:
脚本.sh

cd /folder
mv a.csv result.csv

a.csv 文件将有很多记录(GB)的形式:

id,name
1,"platinum"
2,"joe"
1,"platinum"
...

我想要做的是使用名为 records.txt 的脚本创建一个文件，该文件将总共没有记录和具有唯一 ID 的记录。
记录.txt

Total Records: 3
Unique Records: 2

总计不包括 id 和 name。
我想在 mv 之后通过脚本来做到这一点。我怎样才能通过脚本做到这一点？

Answer 1

使用 bash sort 与 unique ( why both? ) 要获取唯一值，请使用 wc -l 计算那些:

#!/bin/bash

total=$(tail -n +2 tst.csv | wc -l)
unique=$(tail -n +2 tst.csv | sort | uniq | wc -l)

echo "Total Records: ${total}"
echo "Unique Records: ${unique}"

Total Records: 2

Unique Records: 3

注意 ;使用 tail -n +2 跳过 CSV 的第一行，因为您不想计算这些。