go - 是否可以组合多个 SHA1 状态来获得 Golang 中的最终状态？

Question

在Go1.13中，我有一个上传服务器。该服务器接受 2 种上传类型。

分块和分块+线程。在分块上传上，一切都按预期进行。当它们写入磁盘时，我计算每个 block 。用户可以按照良好的顺序一一上传多个 block 。

这意味着，我可以使用 BinaryMarshaler 将每个 block 的 SHA1 状态保存到磁盘，然后读取先前的状态并继续计算下一个 block ，直到找到最终的哈希值。最终哈希完美地给出了整个文件的 SHA1。

订购后，我可以附加到现有状态。但是问题开始于线程......(同时)

    hashComplete := sha256.New()
    // read previous sttate from disk
    state, err := ioutil.ReadFile(ctxPath)
    if err != nil {
        return err
    }

    if len(state) > 0 {
        unmarshaler, _ := hashComplete.(encoding.BinaryUnmarshaler)
        if err := unmarshaler.UnmarshalBinary(state); err != nil {
            return err
        }
    }

    // In here im writing file to disk and hash. file object is simple File.
    writer := io.MultiWriter(file, hashComplete)
    n, err := io.Copy(writer, src) // src is source (io.Reader)

    marshaler, _ := hashComplete.(encoding.BinaryMarshaler)
    newState, err := marshaler.MarshalBinary()
    if err != nil {
        return err
    }

    shaCtxFile.Write(newState) // Here im saving last state to disk.

    // Then later, after upload finishes, I read this file and get the SHA1 hex from it. It is correct.

现在这是按特定/良好顺序分块上传。另一种上传方式是Chunked+Threaded。这意味着，用户可以同时上传 block ，然后发送请求以给定顺序将它们连接在一起(在最后一个请求)。

我已经计算了每个 block 的 SHA1 并将其保存到磁盘。

我的问题是可以组合这些状态并获得最终的哈希值，还是需要在连接后重新哈希。有没有办法结合这些状态？

Answer 1

假设您指的是整个文件的最终哈希值，那么不行，您不能组合部分数据的多个 SHA-1 哈希值来创建整个文件的哈希值，就好像它是一次性计算出来的一样。原因是初始 SHA-1 状态始终相同，并且重新哈希将在该特定状态下重新启动。此外，在计算最终哈希值之前，会填充最终 block 并添加长度(哈希函数内部)。

但是，您当然可以创建一个哈希列表或哈希树，您可以在其中定义 block 的大小。然后，您可以对 block 上的所有散列进行散列以创建最顶层的散列值。现在，您的哈希值与文件上的 SHA-1 不同，但哈希值与您的定义一致，并且可以重新计算，即使是以多线程方式也是如此。对于文件中的数据来说，它仍然是唯一的(当然假设按顺序放入哈希值)，因此它可以用于验证文件的完整性。而且，据我所知，这是普通安全哈希函数使用多线程哈希计算的唯一方式。

如需了解更多信息，请 Google 关于 Merkle-trees .

<小时/>

当然，SHA-1 已被破坏以防止碰撞。不幸的是，这正是您使用它的目的。所以请使用 SHA-256。如果 256 位太多，那么使用 SHA-256 并采用最左边的 160 位是更安全的替代方案。