linux - 使用md5从目录中删除相同的二进制文件

Question

在linux机器中，我有100k的二进制文件。我知道我有完全相同的文件，一个如何使用md5，删除文件夹中所有重复的文件？
我用diff+xxd没有成功

Answer 1

欢迎来到StackOverflow！
您可以使用md5sum和awk在一行中完成此操作：

# Execute in the same directory as your files:

md5sum * | awk '{ if (FILES[$1] != "") { print $2 " is a duplicate with " FILES[$1] } else { FILES[$1] = $2 } }'

如果要在同一步骤中删除而不只是打印文件名：

md5sum * | awk '{ if (FILES[$1] != "") { system("rm " $2) } else { FILES[$1] = $2 } }'

其作用如下：
获取 md5sum的输出并将其传递给 awk
输出是md5哈希和文件名，用空格分隔： 44e48799743fd961ee523c1e3e3ac7cd 991.data
检查数组中是否已存在名为 FILES的哈希值
如果数组包含哈希，则打印重复的警告/删除文件
如果数组中不存在，则将其存储在数组中。
希望这对你有帮助！