python - 检查容器中是否存在 NaN

Question

当我检查它是否存在于列表或集合中时，NaN 得到了完美的处理。但我不明白如何。 [更新:不，不是；如果找到相同的 NaN 实例，则报告为存在；如果仅发现不相同的 NaN 实例，则将其报告为不存在。]

1. 我认为列表中的存在是通过相等性来检验的，所以我预计不会找到 NaN，因为 NaN != NaN。

2. hash(NaN) 和 hash(0) 都是 0。字典和集合如何区分 NaN 和 0？

3. 使用 in 运算符检查任意容器中是否存在 NaN 是否安全？还是依赖于实现？

我的问题是关于 Python 3.2.1；但如果 future 版本中存在/计划进行任何更改，我也想知道。

NaN = float('nan')
print(NaN != NaN) # True
print(NaN == NaN) # False

list_ = (1, 2, NaN)
print(NaN in list_) # True; works fine but how?

set_ = {1, 2, NaN}
print(NaN in set_) # True; hash(NaN) is some fixed integer, so no surprise here
print(hash(0)) # 0
print(hash(NaN)) # 0
set_ = {1, 2, 0}
print(NaN in set_) # False; works fine, but how?

请注意，如果我将用户定义类的实例添加到 list，然后检查是否包含，则调用实例的 __eq__ 方法(如果已定义) - 至少在 CPython 中。这就是为什么我假设 list 包含是使用运算符 == 测试的。

编辑:

根据 Roman 的回答，似乎 __contains__ 用于 list、tuple、set、 dict 的行为非常奇怪:

def __contains__(self, x):
  for element in self:
    if x is element:
      return True
    if x == element:
      return True
  return False

我说“奇怪”是因为我没有在文档中看到它的解释(也许我错过了)，我认为这是不应该作为实现选择留下的东西。

当然，一个 NaN 对象可能与另一个 NaN 对象不同(在 id 的意义上)。 (这并不奇怪；Python 不保证这种身份。事实上，我从未见过 CPython 共享在不同地方创建的 NaN 实例，即使它共享一个小数字或短字符串的实例。)这意味着未定义在内置容器中测试是否存在 NaN。

这是非常危险的，而且非常微妙。有人可能会运行我上面显示的代码，并错误地得出结论认为使用 in 测试 NaN 成员资格是安全的。

我认为这个问题没有完美的解决方法。一种非常安全的方法是确保永远不会将 NaN 添加到内置容器中。 (在整个代码中检查这一点很痛苦……)

另一种选择是注意 in 左侧可能有 NaN 的情况，在这种情况下，使用 math.isnan() 单独测试 NaN 成员资格>。此外，还需要避免或重写其他操作(例如，设置交集)。

Answer 1

问题 #1:当容器是相同的对象时，为什么会在容器中找到 NaN。

来自documentation :

For container types such as list, tuple, set, frozenset, dict, or collections.deque, the expression x in y is equivalent to any(x is e or x == e for e in y).

这正是我观察到的 NaN，所以一切都很好。为什么这个规则？我怀疑这是因为 dict/set 想要诚实地报告它包含某个对象，如果该对象实际上在其中(即使 __eq__() 无论出于何种原因选择报告对象不等于自身)。

问题 #2:为什么 NaN 的哈希值与 0 的哈希值相同？

来自documentation :

Called by built-in function hash() and for operations on members of hashed collections including set, frozenset, and dict. hash() should return an integer. The only required property is that objects which compare equal have the same hash value; it is advised to somehow mix together (e.g. using exclusive or) the hash values for the components of the object that also play a part in comparison of objects.

注意只要求一个方向；具有相同哈希值的对象不必相等!起初我以为这是一个错字，但后来我意识到它不是。散列冲突无论如何都会发生，即使使用默认的 __hash__() (请参阅出色的解释 here )。容器可以毫无问题地处理碰撞。当然，它们最终会使用 == 运算符来比较元素，因此它们很容易以多个 NaN 值结束，只要它们不相同!试试这个:

>>> nan1 = float('nan')
>>> nan2 = float('nan')
>>> d = {}
>>> d[nan1] = 1
>>> d[nan2] = 2
>>> d[nan1]
1
>>> d[nan2]
2

所以一切都按照记录工作。但是……非常非常危险!有多少人知道 NaN 的多个值可以在一个字典中并存？有多少人会发现这很容易调试？..

我建议让 NaN 成为 float 子类的一个实例，它不支持散列，因此不会被意外添加到 set/dict 。我会将其提交给 python-ideas。

最后发现文档有误here :

For user-defined classes which do not define __contains__() but do define __iter__(), x in y is true if some value z with x == z is produced while iterating over y. If an exception is raised during the iteration, it is as if in raised that exception.

Lastly, the old-style iteration protocol is tried: if a class defines __getitem__(), x in y is true if and only if there is a non-negative integer index i such that x == y[i], and all lower integer indices do not raise IndexError exception. (If any other exception is raised, it is as if in raised that exception).

您可能会注意到这里没有提到 is，这与内置容器不同。我对此感到惊讶，所以我尝试了:

>>> nan1 = float('nan')
>>> nan2 = float('nan')
>>> class Cont:
...   def __iter__(self):
...     yield nan1
...
>>> c = Cont()
>>> nan1 in c
True
>>> nan2 in c
False

如您所见，首先检查身份，在 == 之前 - 与内置容器一致。我将提交报告以修复文档。