python - 为什么我无法捕捉到这个 python 异常？异常模块/类与捕获的模块/类不匹配

Question

我在为 SaltStack 编写一些 etcd 模块时遇到了这个奇怪的问题，它以某种方式阻止我捕获异常，我对它是如何做到这一点很感兴趣的。它似乎特别以 urllib3 为中心。

一个小脚本(不是盐):

import etcd
c = etcd.Client('127.0.0.1', 4001)
print c.read('/test1', wait=True, timeout=2)

当我们运行它时:

[root@alpha utils]# /tmp/etcd_watch.py
Traceback (most recent call last):
  File "/tmp/etcd_watch.py", line 5, in <module>
    print c.read('/test1', wait=True, timeout=2)
  File "/usr/lib/python2.6/site-packages/etcd/client.py", line 481, in read
    timeout=timeout)
  File "/usr/lib/python2.6/site-packages/etcd/client.py", line 788, in api_execute
    cause=e
etcd.EtcdConnectionFailed: Connection to etcd failed due to ReadTimeoutError("HTTPConnectionPool(host='127.0.0.1', port=4001): Read timed out.",)

好吧，让我们捕获那个 SCSS :

#!/usr/bin/python

import etcd
c = etcd.Client('127.0.0.1', 4001)

try:
  print c.read('/test1', wait=True, timeout=2)
except etcd.EtcdConnectionFailed:
  print 'connect failed'

运行它:

[root@alpha _modules]# /tmp/etcd_watch.py
connect failed

看起来不错 - 都可以使用 python。那么问题是什么？我在 salt etcd 模块中有这个:

[root@alpha _modules]# cat sjmh.py
import etcd

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    return c.read('/test1', wait=True, timeout=2)
  except etcd.EtcdConnectionFailed:
    return False

当我们运行它时:

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    The minion function caused an exception: Traceback (most recent call last):
      File "/usr/lib/python2.6/site-packages/salt/minion.py", line 1173, in _thread_return
        return_data = func(*args, **kwargs)
      File "/var/cache/salt/minion/extmods/modules/sjmh.py", line 5, in test
        c.read('/test1', wait=True, timeout=2)
      File "/usr/lib/python2.6/site-packages/etcd/client.py", line 481, in read
        timeout=timeout)
      File "/usr/lib/python2.6/site-packages/etcd/client.py", line 769, in api_execute
        _ = response.data
      File "/usr/lib/python2.6/site-packages/urllib3/response.py", line 150, in data
        return self.read(cache_content=True)
      File "/usr/lib/python2.6/site-packages/urllib3/response.py", line 218, in read
        raise ReadTimeoutError(self._pool, None, 'Read timed out.')
    ReadTimeoutError: HTTPConnectionPool(host='127.0.0.1', port=4001): Read timed out.

嗯，这很奇怪。 etcd 的读取应该返回 etcd.EtcdConnectionFailed。那么，让我们进一步看一下。我们的模块现在是这样的:

import etcd

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    return c.read('/test1', wait=True, timeout=2)
  except Exception as e:
    return str(type(e))

我们得到:

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    <class 'urllib3.exceptions.ReadTimeoutError'>

好的，所以我们知道我们可以捕获这个东西。我们现在知道它抛出了一个 ReadTimeoutError，所以让我们捕获它。我们模块的最新版本:

import etcd
import urllib3.exceptions

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    c.read('/test1', wait=True, timeout=2)
  except urllib3.exceptions.ReadTimeoutError as e:
    return 'caught ya!'
  except Exception as e:
    return str(type(e))

还有我们的测试..

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    <class 'urllib3.exceptions.ReadTimeoutError'>

呃，等等，什么？为什么我们没有发现？异常有效，对吧..？

如果我们尝试从 urllib3.. 中捕获基类怎么样

[root@alpha _modules]# cat sjmh.py
import etcd
import urllib3.exceptions

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    c.read('/test1', wait=True, timeout=2)
  except urllib3.exceptions.HTTPError:
    return 'got you this time!'

希望和祈祷..

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    The minion function caused an exception: Traceback (most recent call last):
      File "/usr/lib/python2.6/site-packages/salt/minion.py", line 1173, in _thread_return
        return_data = func(*args, **kwargs)
      File "/var/cache/salt/minion/extmods/modules/sjmh.py", line 7, in test
        c.read('/test1', wait=True, timeout=2)
      File "/usr/lib/python2.6/site-packages/etcd/client.py", line 481, in read
        timeout=timeout)
      File "/usr/lib/python2.6/site-packages/etcd/client.py", line 769, in api_execute
        _ = response.data
      File "/usr/lib/python2.6/site-packages/urllib3/response.py", line 150, in data
        return self.read(cache_content=True)
      File "/usr/lib/python2.6/site-packages/urllib3/response.py", line 218, in read
        raise ReadTimeoutError(self._pool, None, 'Read timed out.')
    ReadTimeoutError: HTTPConnectionPool(host='127.0.0.1', port=4001): Read timed out.

爆炸吧!好的，让我们尝试一种返回不同 etcd 异常的不同方法。我们的模块现在看起来像这样:

import etcd

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    c.delete('/')
  except etcd.EtcdRootReadOnly:
    return 'got you this time!'

我们的运行:

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    got you this time!

作为最终测试，我制作了这个模块，我可以直接从 python 运行它，也可以将其作为 salt 模块运行..

import etcd
import urllib3

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    c.read('/test1', wait=True, timeout=2)
  except urllib3.exceptions.ReadTimeoutError:
    return 'got you this time!'
  except etcd.EtcdConnectionFailed:
    return 'cant get away from me!'
  except etcd.EtcdException:
    return 'oh no you dont'
  except urllib3.exceptions.HTTPError:
    return 'get back here!'
  except Exception as e:
    return 'HOW DID YOU GET HERE? {0}'.format(type(e))

if __name__ == "__main__":
  print test()

通过python:

[root@alpha _modules]# python ./sjmh.py
cant get away from me!

通过盐:

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    HOW DID YOU GET HERE? <class 'urllib3.exceptions.ReadTimeoutError'>

因此，我们可以从 etcd 抛出的异常中捕获异常。但是，虽然我们通常能够在单独运行 python-etcd 时捕获 urllib3 ReadTimeoutError，但当我通过 salt 运行它时，似乎没有什么能够捕获 urllib3 异常，除了一个笼统的“异常”子句。

我可以做到这一点，但我真的很好奇 salt 到底在做什么，以至于无法捕获异常。我以前在使用 python 时从未见过这种情况，所以我很好奇它是如何发生的以及我如何解决它。

编辑:

所以我终于捕获了它。

import etcd
import urllib3.exceptions
from urllib3.exceptions import ReadTimeoutError

def test():
  c = etcd.Client('127.0.0.1', 4001)
  try:
    c.read('/test1', wait=True, timeout=2)
  except urllib3.exceptions.ReadTimeoutError:
    return 'caught 1'
  except urllib3.exceptions.HTTPError:
    return 'caught 2'
  except ReadTimeoutError:
    return 'caught 3'
  except etcd.EtcdConnectionFailed as ex:
    return 'cant get away from me!'
  except Exception as ex:
    return 'HOW DID YOU GET HERE? {0}'.format(type(ex))

if __name__ == "__main__":
  print test()

运行时:

[root@alpha _modules]# salt 'alpha' sjmh.test
alpha:
    caught 3

不过还是没看懂。据我所知，返回值应该是“捕获 1”。为什么我必须直接导入异常的名称，而不是只使用完整的类名？

更多编辑!

因此，添加两个类之间的比较会产生“False”——这很明显，因为 except 子句不起作用，所以它们不可能相同。

我在调用 c.read() 之前将以下内容添加到脚本中。

log.debug(urllib3.exceptions.ReadTimeoutError.__module__)
log.debug(ReadTimeoutError.__module__)

现在我在日志中得到了这个:

[DEBUG   ] requests.packages.urllib3.exceptions
[DEBUG   ] urllib3.exceptions

所以，这似乎是被抓到的原因。这也可以通过下载 etcd 和请求库并执行如下操作来重现:

#!/usr/bin/python

#import requests
import etcd

c = etcd.Client('127.0.0.1', 4001)
c.read("/blah", wait=True, timeout=2)

您最终会引发“正确的”异常 - etcd.EtcdConnectionFailed。但是，取消对“请求”的注释，您最终会得到 urllib3.exceptions.ReadTimeoutError，因为 etcd 现在不再捕获异常。

所以看起来当 requests 被导入时，它重写了 urllib3 异常，并且任何其他试图捕获这些异常的模块都失败了。此外，较新版本的请求似乎没有此问题。

Answer 1

我下面的回答是一些猜测，因为我无法用这些确切的库在实践中证明这一点(首先我无法重现您的错误，因为它还取决于库版本及其安装方式)，但仍然显示了一个发生这种情况的可能方式:

最后一个例子给出了一个很好的线索:重点确实是在程序执行时间的不同时刻，名称 urllib3.exceptions.ReadTimeoutError 可能引用不同的类。 ReadTimeoutError 就像 Python 中的所有其他模块一样，只是 urllib3.exceptions 命名空间中的一个名称，并且可以重新分配(但是这并不意味着这样做是个好主意)。

当通过其完全限定的“路径”引用此名称时 - 我们保证在我们引用它时引用它的实际状态。但是，当我们第一次像 from urllib3.exceptions import ReadTimeoutError 一样导入它时 - 它会将名称 ReadTimeoutError 带入执行导入的命名空间，并且此名称绑定(bind)到此导入时 urllib3.exceptions.ReadTimeoutError 的值。现在，如果一些其他代码稍后重新分配 urllib3.exceptions.ReadTimeoutError 的值 - 这两个(它的“当前”/“最新”值和先前导入的值)实际上可能不同 - 所以从技术上讲你最终可能会有两个不同的类(class)。现在，将实际引发哪个异常类——这取决于引发错误的代码如何使用它:如果他们之前将 ReadTimeoutError 导入到他们的命名空间中——那么这个(“原始”)将被抚养。

要验证是否属于这种情况，您可以将以下内容添加到 except ReadTimeoutError block 中:

print(urllib3.exceptions.ReadTimeoutError == ReadTimeoutError)

如果打印出 False - 它证明在引发异常时，两个“引用”确实引用了不同的类。

---

可以产生类似结果的不良实现的简化示例:

文件 api.py(经过适当设计并自行愉快地存在):

class MyApiException(Exception):
    pass

def foo():
    raise MyApiException('BOOM!')

文件 apibreaker.py(罪魁祸首):

import api

class MyVeryOwnException(Exception):
    # note, this doesn't extend MyApiException,
    # but creates a new "branch" in the hierarhcy
    pass

# DON'T DO THIS AT HOME!
api.MyApiException = MyVeryOwnException

文件apiuser.py:

import api
from api import MyApiException, foo
import apibreaker

if __name__ == '__main__':
    try:
        foo()
    except MyApiException:
        print("Caught exception of an original class")
    except api.MyApiException:
        print("Caught exception of a reassigned class")

执行时:

$ python apiuser.py
Caught exception of a reassigned class

如果您删除 import apibreaker 行 - 显然所有内容都会回到它们应该的位置。

这是一个非常简化的示例，但足以说明当在某个模块中定义类时 - 新创建的类型(表示新类本身的对象)在其声明的类名下“添加”到模块的命名空间。与任何其他变量一样 - 它的值可以在技术上进行修改。函数也会发生同样的事情。