python - BertTokenizer.from_pretrained 错误输出 "Connection error"

Question

我正在尝试为 BERT 从 Huggingface 下载分词器。

我正在执行:

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

错误:

<Path>\tokenization_utils_base.py in from_pretrained(cls, pretrained_model_name_or_path, *init_inputs, **kwargs)
   1663                         resume_download=resume_download,
   1664                         local_files_only=local_files_only,
-> 1665                         use_auth_token=use_auth_token,
   1666                     )
   1667 

<Path>\file_utils.py in cached_path(url_or_filename, cache_dir, force_download, proxies, resume_download, user_agent, extract_compressed_file, force_extract, use_auth_token, local_files_only)
   1140             user_agent=user_agent,
   1141             use_auth_token=use_auth_token,
-> 1142             local_files_only=local_files_only,
   1143         )
   1144     elif os.path.exists(url_or_filename):

<Path>\file_utils.py in get_from_cache(url, cache_dir, force_download, proxies, etag_timeout, resume_download, user_agent, use_auth_token, local_files_only)
   1347                 else:
   1348                     raise ValueError(
-> 1349                         "Connection error, and we cannot find the requested files in the cached path."
   1350                         " Please try again or make sure your Internet connection is on."
   1351                     )

ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.

基于关于 github in huggingface's repo 的类似讨论，我收集到上述调用要下载的文件是:https://huggingface.co/bert-base-uncased/resolve/main/config.json

虽然我可以在浏览器上很好地访问该 json 文件，但我无法通过请求下载它。我得到的错误是:

>> import requests as r
>> r.get('https://huggingface.co/bert-base-uncased/resolve/main/config.json')
...
requests.exceptions.SSLError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /bert-base-uncased/resolve/main/config.json (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

检查页面证书时 - https://huggingface.co/bert-base-uncased/resolve/main/config.json ，我看到它是由我的 IT 部门签署的，而不是我希望找到的标准 CA 根。基于讨论here ，看起来 SSL 代理做这样的事情似乎是合理的。

我的 IT 部门的证书在受信任的机构列表中。但是 requests 似乎没有考虑信任证书的列表。

从 a stack-overflow discussion on how to let requests trust a self-signed certificate 中得到启发我还尝试使用为 huggingface 显示的 ROOT 证书附加 cacert.pem(curl-config --ca 指向的文件)并将此 pem 的路径添加到 REQUESTS_CA_BUNDLE

export REQUESTS_CA_BUNDLE=/mnt/<path>/wsl-anaconda/ssl/cacert.pem

但是一点用都没有。

您知道我如何让请求知道可以信任我的 IT 部门的证书吗？

P.S:如果重要的话，我在 Windows 上工作，也在 WSL 中面对这个问题。

Answer 1

我最终可以让一切正常工作 - 在这里分享相同的内容，以防将来它对其他人有用。

解决方案非常简单，我最初尝试过，但在尝试时犯了一个小错误。无论如何，这里是解决方案:

1. 从浏览器访问 URL(在我的示例中为 huggingface.co URL)并访问该站点附带的证书。
   一个。在大多数浏览器(chrome/firefox/edge)中，您可以通过单击地址栏中的“锁定”图标来访问它。

2. 保存所有证书 - 一直到根证书。
   一个。我认为，从技术上讲，您可以只保 stub 证书，它仍然可以工作，但我还没有尝试过。如果我有时间尝试一下，我可能会更新这个。如果你碰巧在我之前尝试过，请发表评论。

3. 按照 this stack overflow answer 中提到的步骤进行操作获取 CA Bundle 并在编辑器中将其打开，以将上一步中下载的证书附加到文件中。
   一个。原始 CA 捆绑文件在每个证书之前都有标题行，提及该证书属于哪个 CA 根。我们要添加的证书不需要这样做。我已经这样做了，我想额外的空格、回车等可能导致它早些时候对我不起作用。

4. 在我的 python 程序中，我更新了环境变量以指向更新后的 CA 根包

   os.environ['REQUESTS_CA_BUNDLE'] = 'path/cacert.crt'

有人可能认为，由于大多数 python 包使用“请求”来进行此类 GET 调用，而“请求”使用“certifi”包指向的证书。那么，为什么不找到 certifi 指向的证书的位置并更新它。它的问题 - 每当您使用 conda 更新包时，certifi 也可能会更新，导致您的更改被冲走。因此，我发现动态更新环境变量是一个更好的选择。

干杯