java - 检测随机有序输入的变化(哈希函数？)

Question

我正在阅读可以按任何顺序出现的文本行。问题是输出实际上可能与之前的输出相同。在不先对输出进行排序的情况下，如何检测到这一点？

是否有某种哈希函数可以采用相同的输入，但以任何顺序，仍然产生相同的结果？

Answer 1

最简单的方法似乎是对传入的每一行进行散列，存储散列和原始数据，然后将每个新散列与现有散列的集合进行比较。如果您得到肯定的结果，您可以比较实际数据，以确保它不是误报 - 尽管这种情况极为罕见，您可以使用更快的哈希算法，例如 MD5 或 CRC(而不是 SHA 之类的算法，速度较慢，但​​碰撞的可能性较小)，这样就比较快，然后在命中时比较实际数据。