search - O(1) 怎么了？

Question

在讨论涉及散列和搜索类型的算法时，我注意到 O(1) 的一些非常奇怪的用法，通常是在使用语言系统提供的字典类型或使用字典或散列数组类型的上下文中使用数组索引表示法。

基本上，O(1) 意味着以恒定时间和(通常)固定空间为界。一些非常基本的操作是 O(1) 的，尽管使用中间语言和特殊的虚拟机往往会扭曲这里的思维(例如，如何将垃圾收集器和其他动态进程分摊到本来是 O(1) 的事件上)。

但是忽略延迟摊销、垃圾收集等，我仍然不明白如何跳跃到假设涉及某种搜索的某些技术可以是 O(1)，除非在非常特殊的条件下。

尽管我之前已经注意到这一点，但 Pandincus question, "'Proper’ collection to use to obtain items in O(1) time in C# .NET?" 中刚刚出现了一个示例.

正如我在那里所说的，我所知道的唯一提供 O(1) 访问作为保证边界的集合是具有整数索引值的固定边界数组。假设该数组是通过某种到随机存取存储器的映射来实现的，该随机存取存储器使用 O(1) 操作来定位具有该索引的单元。

对于涉及某种搜索以确定不同类型索引(或具有整数索引的稀疏数组)的匹配单元格位置的集合，生活并不那么容易。特别是，如果存在冲突并且可能发生拥塞，则访问不完全是 O(1)。如果集合是灵活的，则必须认识到并分摊扩展底层结构(例如树或哈希表)的成本，以缓解拥塞(例如，高冲突发生率或树不平衡) .

我绝不会想到将这些灵活且动态的结构称为 O(1)。然而，我看到它们以 O(1) 解决方案的形式提供，但没有任何确定必须维持的条件才能确保实际具有 O(1) 访问权限(并且该常数小到可以忽略不计)。

问题:所有这些准备实际上都是为了一个问题。 O(1) 的随意性是什么？为什么它被如此盲目地接受？是否认识到即使 O(1) 也可能大得令人不快，尽管接近常数？或者 O(1) 只是计算复杂性概念对非正式使用的挪用？我很困惑。

更新:答案和评论指出了我自己定义 O(1) 时随意的地方，我已经修复了它。我仍在寻找好的答案，在某些情况下，一些评论线程比他们的答案更有趣。

Answer 1

问题是人们对术语真的很草率。这里有 3 个重要但不同的类:

O(1) 最坏情况

这很简单 - 在最坏的情况下，所有操作所花费的时间不会超过恒定的时间，因此在所有情况下都是如此。访问数组的元素是 O(1)最坏的情况。

O(1) 摊销最坏情况

摊销意味着并非每个操作都是 O(1)在最坏的情况下，但对于任何 N 个操作的序列，该序列的总成本为 no O(N)在最坏的情况下。这意味着，即使我们不能将任何单个操作的成本限制为一个常数，但总会有足够的“快速”操作来弥补“慢速”操作，使得操作序列的运行时间是线性的操作次数。

例如，标准 Dynamic Array当它填满时，它的容量会增加一倍，需要 O(1)在末尾插入元素的摊销时间，即使某些插入需要 O(N)时间-总是有足够的O(1)插入 N 个项目总是需要 O(N) 的插入次数总时间。

O(1) 平均情况

这个是最棘手的。平均情况有两种可能的定义:一种用于具有固定输入的随机算法，另一种用于具有随机输入的确定性算法。

对于具有固定输入的随机算法，我们可以通过分析算法并确定所有可能的运行时间的概率分布并对该分布取平均值来计算任何给定输入的平均情况运行时间(取决于算法，由于停机问题，这可能会也可能不会)。

在另一种情况下，我们需要输入的概率分布。例如，如果我们要测量排序算法，这样的概率分布就是包含所有 N! 的分布。输入的可能排列的可能性相同。然后，平均情况运行时间是所有可能输入的平均运行时间，并按每个输入的概率进行加权。

由于这个问题的主题是哈希表，它是确定性的，所以我将重点关注平均情况的第二个定义。现在，我们不能总是确定输入的概率分布，因为我们可以对任何东西进行散列，并且这些项目可能来自用户在文件系统中输入或来自文件系统。因此，在谈论哈希表时，大多数人只是假设输入表现良好，并且哈希函数表现良好，使得任何输入的哈希值本质上在可能的哈希值范围内随机均匀分布。

花一点时间，让我们理解最后一点 - O(1)哈希表的平均情况性能来自于假设所有哈希值均匀分布。如果违反了这一假设(通常不会，但肯定会发生)，则运行时间将不再是 O(1)平均而言。

另请参阅Denial of Service by Algorithmic Complexity 。在本文中，作者讨论了他们如何利用两个版本的 Perl 使用的默认哈希函数中的一些弱点来生成大量具有哈希冲突的字符串。有了这个字符串列表，他们通过向某些网络服务器提供这些字符串来对某些网络服务器产生拒绝服务攻击，从而导致最坏的情况 O(N)网络服务器使用的哈希表中的行为。