python - 从转换器导入 BertTokenizer 时出现导入错误

Question

我的代码是:

import torch
from transformers import BertTokenizer
from IPython.display import clear_output

我在行中遇到错误 from transformers import BertTokenizer :

ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /mnt/home/wbj/anaconda3/envs/pytorch/lib/python3.8/site-packages/tokenizers/tokenizers.cpython-38-x86_64-linux-gnu.so)

我发现问题出在文件 /lib/x86_64-linux-gnu/libm.so.6 上的答案, 当我使用代码时 strings /lib/x86_64-linux-gnu/libm.so.6 | grep GLIBC_我得到输出

GLIBC_2.2.5
GLIBC_2.4
GLIBC_2.15
GLIBC_2.18
GLIBC_2.23
GLIBC_PRIVATE

该文件不支持 GLIBC_2.29。我该如何解决这个问题？

Answer 1

我遇到过同样的问题。这是由于 tokenizers 包需要的 GLIBC 版本
你有两个选择

如果您有权限，您可以升级 glibc 库

我使用过的选项。安装旧版本的标记器，例如使用 anaconda

在第二种情况下，您只需运行以下命令:

conda install -c huggingface tokenizers=0.10.1 transformers=4.6.1

注意:您可以为转换器选择其他版本，在这种情况下，当您选择较新版本的标记器时就会出现错误