java - Murmur3 散列 Python 和 Java 实现之间的不同结果

Question

我有两个不同的程序，它们希望分别在 Python 和 Java 中使用 Murmur3 对相同的字符串进行哈希处理。

Python 版本 2.7.9:

mmh3.hash128('abc')

给出 79267961763742113019008347020647561319L。

Java 是 Guava 18.0:

HashCode hashCode = Hashing.murmur3_128().newHasher().putString("abc", StandardCharsets.UTF_8).hash();

给出字符串“6778ad3f3f3f96b4522dca264174a23b”，转换为 BigInterger 给出 137537073056680613988840834069010096699。

如何从两者得到相同的结果？

谢谢

Answer 1

以下是如何从两者获得相同的结果:

byte[] mm3_le = Hashing.murmur3_128().hashString("abc", UTF_8).asBytes();
byte[] mm3_be = Bytes.toArray(Lists.reverse(Bytes.asList(mm3_le)));
assertEquals("79267961763742113019008347020647561319",
    new BigInteger(mm3_be).toString());

散列码的字节需要被视为小端，但BigInteger 将字节解释为大端。您可能正在使用 new BigInteger(hex, 16) 来创建 BigInteger，但 HashCode.toString() 的输出实际上是一个系列表示散列字节的十六进制数字对，其顺序与 asBytes()(小尾数法)返回的顺序相同。 (您还可以反转这些十六进制数对，以获得在传递给 new BigInteger(reversedHex, 16) 时产生相同结果的十六进制数)。

我认为 toString() 的文档有点令人困惑，因为它引用“big endian”的方式；它实际上并不意味着该方法的输出是表示解释为大端字节序的字节的十六进制数。

我们有一个开放的issue用于将 asBigInteger() 添加到 HashCode。