hash - 从多部分主键生成 C* 桶哈希

Question

我将拥有非常宽的 C* 表。为了防止它们变得太宽，我遇到了一个很适合我的策略。它出现在这个视频中。 Bucket Your Partitions Wisely

这种策略的好处是不需要“查找表”(它很快)，坏处是需要知道桶的最大数量并最终没有使用更多的桶(不可扩展)。我知道我的最大存储桶大小，所以我会试试这个。

通过从表主键计算散列，这可以与其余主键一起用作存储桶部分。

我想出了以下方法来确保(我认为？)特定主键的哈希始终相同。

使用 Guava 哈希:

public static String bucket(List<String> primKeyParts, int maxBuckets) {

    StringBuilder combinedHashString = new StringBuilder();
    primKeyParts.forEach(part ->{
        combinedHashString.append(
            String.valueOf(
                Hashing.consistentHash(Hashing.sha512()
                    .hashBytes(part.getBytes()), maxBuckets)
            )
        );
    });
    return combinedHashString.toString();
}

我使用 sha512 的原因是能够拥有最大字符数为 256(512 位)的字符串，否则结果永远不会相同(根据我的测试看来)。

我远不是哈希大师，因此我要问以下问题。

要求:对于给定的 Cassandra 主键，在不同节点/机器上的不同 JVM 执行之间，结果应该始终相同？

1. 我可以依靠提到的方法来完成这项工作吗？
2. 是否有更好的散列大字符串的解决方案，以便它们始终对给定字符串产生相同的结果？
3. 我是否总是需要对字符串进行哈希运算，或者是否有更好的方法对 C* 主键执行此操作并始终产生相同的结果？

拜托，我不想讨论特定表的数据建模，我只想有一个桶策略。

编辑:

进一步阐述并提出了这个，因此字符串的长度可以是任意的。你怎么看这个？

public static int murmur3_128_bucket(int maxBuckets, String... primKeyParts) {

    List<HashCode> hashCodes = new ArrayList();
    for(String part : primKeyParts) {
        hashCodes.add(Hashing.murmur3_128().hashString(part, StandardCharsets.UTF_8));
    };
    return Hashing.consistentHash(Hashing.combineOrdered(hashCodes), maxBuckets);
}

Answer 1

我目前在生产中使用类似的解决方案。因此，对于您的方法，我将更改为:

public static int bucket(List<String> primKeyParts, int maxBuckets) {
  String keyParts = String.join("", primKeyParts);
  return Hashing.consistentHash(
                     Hashing.murmur3_32().hashString(keyParts, Charsets.UTF_8),
                     maxBuckets);
}

所以差异

1. 一次性将所有PK部分送入哈希函数。
2. 我们实际上将最大存储桶设置为代码常量，因为只有当最大存储桶保持不变时，一致性哈希才成立。
3. 我们使用 MurMur3 哈希，因为我们希望它速度快而不是加密强度高。

对于您的直接问题 1) 是的，该方法应该可以完成工作。 2)我认为通过上面的调整你应该设置。 3)假设你需要整个PK？

我不确定您是否需要使用整个主键，因为期望您的主键的分区部分对于许多事情都是相同的，这就是您进行分桶的原因。您可以只散列那些将为您提供用于分区键的良好存储桶的位。在我们的例子中，我们只是对 PK 的一些聚类键部分进行哈希处理，以生成我们用作分区键一部分的存储桶 ID。