python - AppEngine urlfetch validate_certificate=False/None 不被尊重

Question

在 AppEngine 开发人员应用服务器中，我收到如下错误:

SSLCertificateError: Invalid and/or missing SSL certificate for URL ...

当我使用自签名证书(几乎总是通过 ssh 将 https端口转发到虚拟机)对 localhost服务器进行这样的提取时:

result = urlfetch.fetch(url=url, method=method, payload=payload,
                        deadline=DEADLINE, validate_certificate=None)

人们不会期望 validate_certificate是 False的无效证书的SSL失败，尽管这很可能是Python中2.7.9策略始终验证ssl证书的副作用。

请注意，为 False传递 None(而不是 validate_certificate)也不起作用。

这个问题发生在 Python 2.7.9-10 上，通过 Homebrew/XCode 在 OS X 10.10.2-4 上使用 AppEngine 1.9.18 到 1.19.26。

Google App Engine 上存在与此相关的问题(例如 12096)，但我正在寻找解决方法。

这是我试图解决这个问题的方法:

将证书添加到 Mac 的登录钥匙串(keychain)(在浏览器中工作，而不是来自 Python)

将证书添加到app-engine-python/lib/cacerts/cacerts.txt和/或./lib/cacerts/urlfetch_cacerts.txt(尽管这可能需要打开验证才能工作，因为这似乎是使用它们的唯一情况)，例如

$ echo >> /usr/local/share/app-engine-python/lib/cacerts/urlfetch_cacerts.txt

$ openssl x509 -subject -in server.crt >> /usr/local/share/app-engine-python/lib/cacerts/urlfetch_cacerts.txt

使用PEP-0476解决方法禁用 ssl HTTPs 检查，即
ssl._create_default_https_context = ssl._create_unverified_context
在 import ssl

的 google/appengine/dist27/python_std_lib/httplib.py(第1149行附近)或之后

这在 Mac 上尤其成问题，因为从 XCode 7/OS X El Capital 开始降级不再是一个实用的选择。

更好的解决方法是不涉及在每次更新开发应用服务器时对 AppEngine 代码进行适当的修补。

编辑

请注意，Mac 内置的 OpenSSL 证书存储在 /System/Library/OpenSSL中，它受 SIP/rootlessness保护，坦率地说，这很麻烦，如果可以的话，这是一个值得保留的功能。

我已经使用 openssl s_client -connect localhost:7500 -CAfile server.pem验证了证书是否有效。

它已被添加到钥匙串(keychain)和 /usr/local/etc/openssl/certs中，格式为 hash.#，其中散列来自 openssl x509 -subject_hash -in server.pem(或自制 ssl，即 /usr/local/Cellar/openssl/1.0.2d_1/bin/openssl)。在这种情况下， /usr/local/Cellar/openssl/1.0.2d_1/bin/openssl s_client -connect localhost:7500会验证证书(但 python 仍然不会)。

我曾尝试使用 python 和 openssl 的自制版本，但无济于事。在 Python 中运行以下似乎总是失败；

./pve/bin/python -c "import requests; requests.get('https://localhost:7500')"

如果将 SSL_CERT_FILE设置为服务器的证书(即，由于 openssl命令基本上是这样工作的，因此可能会期望它起作用)，这也会失败，并且在 SSL_CERT_PATH设置为 /usr/local/etc/openssl/certs的情况下也会失败。

请注意， pve是一个虚拟环境，其中 help(ssl)显示 FILE的 /usr/local/Cellar/python/2.7.10_2/Frameworks/Python.framework/Versions/2.7/lib/python2.7/ssl.py
进一步验证自制 Python 的 _ssl.so链接到自制的 openssl 我跑了:

xcrun otool -L
/usr/local/Cellar/python/2.7.10_2/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload/_ssl.so

返回

./Cellar/python/2.7.10_2/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload/_ssl.so:

/usr/local/opt/openssl/lib/libssl.1.0.0.dylib (compatibility version 1.0.0, current version 1.0.0)

/usr/local/opt/openssl/lib/libcrypto.1.0.0.dylib (compatibility version 1.0.0, current version 1.0.0)

/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1225.1.1)

如果运行 brew info openssl，它会在 CAVEATS下注释:

A CA file has been bootstrapped using certificates from the system keychain. To add additional certificates, place .pem files in /usr/local/etc/openssl/certs

但显然由于某种原因，python 没有使用自制软件的 openssl 算法来查找证书。

因此，我仍然不知道为什么 Python 标准库不验证文档中指定的 OpenSSL 目录中的证书以及钥匙串(keychain)( .pem和 .p12格式，“始终信任”为 Secure Sockets Layer (SSL))。

Answer 1

这是一个 dev_appserver由 httplib.HTTPSConnection 引起的错误某些最近的 Python 版本(我相信 2.7.9)中的行为更改(默认情况下启用证书检查)。

由于错误在内部 dev_appserver代码(appengine SDK 的文件 google_appengine/google/appengine/api/urlfetch_stub.py)独立于测试的应用程序运行，没有办法进行修复，使其在 SDK 更新后仍然有效。

我能想到的唯一永久解决方法是启用 validate_certificate并添加 CA 证书给 urlfetch_cacerts.txt文件。作为临时修复，您可以修补 urlfetch_stub.py解决方法#3。