python - python 中的哈希函数族生成器

Question

我正在寻找一个哈希函数族生成器，它可以在给定一组参数的情况下生成一系列哈希函数。到目前为止我还没有找到任何这样的发电机。有没有办法用 hashlib 做到这一点？包？

例如我想做这样的事情:

h1 = hash_function(1)
h2 = hash_function(2)
...

和h1和 h2将是不同的哈希函数。

对于那些可能知道的人，我正在尝试在非常大的数据集上实现最小哈希算法。

基本上，对于给定的文档，我有一组非常大的特征(1 亿到 10 亿)，我需要为这组特征创建 1000 到 10000 个不同的随机排列。

我不想明确地构建随机排列，所以我想在下面使用的技术:

1. 生成哈希函数h并考虑两个指数 r和 s
2. r出现在 s 之前在排列中 if h(r) < h(s)并对 100 到 1000 个不同的哈希函数执行此操作。

是否有任何我可能错过的已知库？或者您可能知道的任何使用 Python 生成散列函数族的标准方法？

Answer 1

我会做类似的事情(如果您不需要线程安全——如果您确实需要线程安全则不难改变——并假设是 32 位 Python 版本):

import random

_memomask = {}

def hash_function(n):
  mask = _memomask.get(n)
  if mask is None:
    random.seed(n)
    mask = _memomask[n] = random.getrandbits(32)
  def myhash(x):
    return hash(x) ^ mask
  return myhash