gpt4 book ai didi

c++ - 在排序的静态数组中搜索的最快方法

转载 作者:太空狗 更新时间:2023-10-29 21:13:47 24 4
gpt4 key购买 nike

我正在寻找最快的方法来搜索已排序的固定 32 位键数组。数组大小和数据是静态的,永远不会改变。该数组的大小约为 1000-10000 个唯一元素。搜索范围明显更广(~100000),因此不会找到很多搜索值。我只对精确匹配感兴趣。

搜索过程如下:

  1. 生成约 100 个 key 。这些键是按相关顺序排列的,因此不能简单地对它们进行排序
  2. 在一组静态数组中搜索一组约 100 个键(通常在 50 到 300 个之间)
  3. 当我们找到足够的匹配结果时停止搜索(因此不对键进行排序以获得最相关的结果很重要)

键的一个可能有趣的特性是,即使它们在整数值方面并不接近,它们中的大多数也只会与最近的邻居有几个不同的位(~1-4)。

我找到的大多数答案都指向二进制搜索,但没有一个涉及静态数组的情况,这可能会打开一些优化的可能性。

我可以完全控制数据结构,现在它是一个固定的排序数组,但如果它不是最优的,我可以更改它。我还可以添加预先计算的信息,因为如果不占用不合理的内存量,数据就不会改变。

目标是在 CPU 和内存方面都高效,尽管 CPU 在这里是优先考虑的。

尽管使用 C++ 可能不会对答案产生太大影响。

最佳答案

考虑到您的静态数组永远不会改变,并且您拥有无限的预处理能力,我认为最好的方法是为每个数组创建一个特定的哈希函数。

我的方法 - 定义一个参数化哈希函数(java 代码):

private static Function<Long, Integer> createHashFunction(int sz) {
int mvLeft = ThreadLocalRandom.current().nextInt(30);
int mvRight = ThreadLocalRandom.current().nextInt(16);
int mvLeft2 = ThreadLocalRandom.current().nextInt(10);
int mvRight2 = ThreadLocalRandom.current().nextInt(16);
int mvLeft3 = ThreadLocalRandom.current().nextInt(16);
int mvRight3 = ThreadLocalRandom.current().nextInt(20);
return (key) -> {
// These operations are totally random, and has no mathematical background beneath them!
key = ~key + (key << mvLeft);
key = key ^ (key >>> mvRight);
key = key + (key << mvLeft2);
key = key ^ (key >>> mvRight2);
key = key + (key << mvLeft3);
key = key ^ (key >>> mvRight3);
return (int) (Math.abs(key) % sz); // sz is the size of target array
};
}

对于每个测试数组,找到这样一个参数组合,即最大桶大小是最小的。

一些测试(输入数组的大小为 10k,填充了随机元素):

  • 到 [0..262k] 的 HashMap 导致一个最多包含 2 个项目的桶。测试了 5k 个随机数组,单线程版本以约 100 个数组/秒的速率查找哈希函数。

考虑到最大桶大小为 2 时,可以将两个值映射到一个 64 位整数,这种方法只会导致一次内存跳转和 CPU 最简单的操作 - 散列是通过异或进行的,加上和移位,这应该非常快以及位比较。

但是您的数据可能不是那么好,并且可能需要大小为 3 的桶,这破坏了对桶项使用 long long 的可能性。在这种情况下,您可以尝试找到一些像样的哈希函数,而不是我编写的随机乱七八糟的东西。

关于c++ - 在排序的静态数组中搜索的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42989312/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com