file - 查找目录中的重复文件

Question

这是我的第一个 Go 程序。我正在学习这门语言，但理解所有概念有点困难，所以为了练习我写了一个代码来检测相同的文件。这是一个简单的程序，可以递归地检查目录中的重复文件。

但是:

如何检测目录文件中的重复文件

问题不是目录递归。问题是如何比较

Answer 1

您可以获取每个文件主体的哈希值，然后比较字典/映射中的哈希值。

package main

import (
    "crypto/md5"
    "fmt"
    "io"
    "io/ioutil"
    "log"
    "os"
)

func main() {
    contentHashes := make(map[string]string)
    if err := readDir("./", contentHashes); err != nil {
        log.Fatal(err)
    }
}

func readDir(dirName string, contentHashes map[string]string) (err error) {
    filesInfos, err := ioutil.ReadDir(dirName)
    if err != nil {
        return
    }
    for _, fi := range filesInfos {
        if fi.IsDir() {
            err := readDir(dirName+fi.Name()+"/", contentHashes)
            if err != nil {
                return err
            }
        } else {
            // The important bits for this question
            location := dirName + fi.Name()
            // open the file
            f, err := os.Open(location)
            if err != nil {
                return err
            }
            h := md5.New()
            // copy the file body into the hash function
            if _, err := io.Copy(h, f); err != nil {
                return err
            }
            // Check if a file body with the same hash already exists
            key := fmt.Sprintf("%x", h.Sum(nil))
            if val, exists := contentHashes[key]; exists {
                fmt.Println("Duplicate found", val, location)
            } else {
                contentHashes[key] = location
            }
        }
    }
    return
}