algorithm - 这个搜索算法是最优的吗？

Question

我有两个列表，L 和 M，每个列表包含数千个 64 位无符号整数。我需要找出 L 的任意两个成员之和本身是否是 M 的成员。

是否可以改进以下算法的性能？

Sort(M)
for i = 0 to Length(L)
    for j = i + 1 to Length(L)
        BinarySearch(M, L[i] + L[j])

Answer 1

(我假设您的目标是找到 L 中的 所有 对，它们总和为 M 中的某个值)

忘掉哈希表吧!

对两个列表进行排序。

然后执行算法的外层循环:遍历 L 中的每个元素 i，然后遍历 L 中每个较大的元素 j。边走边求和并检查它是否在 M 中。

但不要使用二分查找:只需从您最后查找的位置开始进行线性扫描。假设您正在处理某个值 i，并且您有某个值 j，然后是某个值 j'。在搜索 (i+j) 时，您将到达 M 中找到该值的点，或第一个最大值。你现在正在寻找 (i+j');因为 j' > j，你知道 (i+j') > (i+j)，所以它在 M 中不能比你得到的最后一个位置更早。如果 L 和 M 都是平滑分布的，那么 M 中您找到 (i+j') 的点很可能只差一点点。

如果数组不是平滑分布的，那么比线性扫描更好的可能是某种跳跃扫描——一次向前看 N 个元素，如果跳跃太远则将 N 减半。

我相信这个算法是 O(n^2)，它和任何提议的哈希算法一样快(它有一个 O(1) 原语操作，但仍然必须执行 O(n**2) 个操作。这也意味着您不必担心 O(n log n) 的排序。它具有比哈希算法更好的数据局部性 - 它基本上由对数组的成对流式读取组成，重复 n 次。

---

编辑:我已经编写了 Paul Baker 的原始算法、Nick Larsen 的哈希表算法和我的算法的实现，以及一个简单的基准测试框架。实现很简单(哈希表中的线性探测，我的线性搜索中没有跳过)，我不得不猜测各种大小参数。参见 http://urchin.earth.li/~twic/Code/SumTest/对于代码。我欢迎对任何实现、框架和参数提出更正或建议。

对于 L 和 M，每个包含 3438 个项目，值范围从 1 到 34380，并且 Larsen 的哈希表的负载因子为 0.75，运行的中位数时间为:

• 贝克(二进制搜索):423 716 646 ns
• 拉森(哈希表):733 479 121 ns
• Anderson(线性搜索):62 077 597 ns

差异比我预期的要大得多(而且，我承认，不是我预期的方向)。我怀疑我在实现过程中犯了一个或多个重大错误。如果有人看到了，我真的很想听听!

一件事是我在定时方法中分配了 Larsen 的哈希表。因此，它正在支付分配和(一些)垃圾收集的成本。我认为这是公平的，因为它是算法仅需要的临时结构。如果您认为它是可以重用的东西，那么将它移到一个实例字段中并只分配一次(并且 Arrays.fill 在定时方法中用零填充它)就足够简单了，然后看看这对性能有何影响。