计算 "based"数据校验和。 (SHA1/2 等)

Question

我不确定如何问这个问题，但这是我所希望的，给定一个可以包含 5+n 的结构 key (因此，我的系统必须有 5 个 key ，其他 key 是可选的)- 我想要一个能够确定 6 的哈希机制 key 哈希，带有 5相同的键，是 5 的超集关键结构，并提供额外的信息。特别是一种哈希机制，因为有一些限制会阻止在每个请求上通过网络发送完整的结构。

为了澄清，这里有一些信息(示例需要 2+n 键):

---
  name: codebeaker
  occupation: developer

使用 SHA-512 进行哈希处理, 和 -256这看起来像:

SHA-512
04fe500f2b3e779aba9ecb171224a04d35cc8453eb1521c7e31fd48b56b1cce9
b1e8af775e177e110982bfb16a6ca8652d7d9812ab8a8c316015dc9d6b3b54f7

SHA-256
4833be7086726e7ffd82db206f94f0a4f9fdf7fba00692f626157afed4587c74

当添加一个额外的键时，(下面的示例)我希望能够推断出扩展数据集是第一个的超集。

---
  name: codebeaker
  occupation: developer
  telephone: 49 (0) 123 45 67

然而，不出所料，在 MD5 , SHA-n以及我研究过的任何其他哈希函数，都无法做到这一点，例如:

SHA-512
2fe2c1f01e39506010ea104581b737f95db6b6f71b1497788afc80a4abe26ab0
fc4913054278af69a89c152406579b7b00c3d4eb881982393a1ace83aeb7b6a2

SHA-256
77c2942e9095e55e13c548e5ef1f874396bfb64f7653e4794d6d91d0d3a168e2

(显然)没有相似之处...

我们的用例，这个数据，格式化为一个结构，由第 3 方输入我们的系统。处理数据非常昂贵，每次操作需要 2-3 秒，如果我们知道我们有之前运行的结果，我们可以获得大约 50% 的时间，但是 - 贝叶斯和 Levenstein 文本差异算法不是适合这里，因为我们经常看到作为首字母缩略词的键/值对，以及其他看起来相似但完全不相关的文本。

我们需要的是一种校验和数据的方法(我在这里的回答可能有偏见)——这样我们就可以确定 B是 A 的超集如果它包含所有相同的键，具有相同的数据。但是，我们的 struc 中的键/值条目中经常有如此多的数据。每次通过网络发送它，只是为了确定我们已经看到了更完整的副本，这将是昂贵且浪费的。

Answer 1

一个想法是对每个键值对使用不同的哈希值。因此，完整结构的“散列”是散列的集合。

如果您的用例始终是五个相同顺序的相同键，然后是任何其他键，您可以对强制键使用一个散列，对可选键使用一个散列 - 但是您将无法检测到包含可选键的结构keys 是另一个包含可选键的结构的超集。

一个细微的变化是对所需的键使用一个散列，对整个结构使用一个散列。

您还可以(根据您的要求)对键值对使用较小的校验和，以便能够快速丢弃不相同的内容 - 但仍然需要较大的哈希值才能更准确地确定某些内容是否匹配.