gpt4 book ai didi

python - BertTokenizer - 当编码和解码序列时出现额外的空格

转载 作者:行者123 更新时间:2023-12-02 09:20:00 28 4
gpt4 key购买 nike

当使用 HuggingFace 的 Transformers 时,我遇到编码和解码方法的问题。

我有以下字符串:

test_string = 'text with percentage%'

然后我运行以下代码:

import torch
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-cased')

test_string = 'text with percentage%'

# encode Converts a string in a sequence of ids (integer), using the tokenizer and vocabulary.
input_ids = tokenizer.encode(test_string)
output = tokenizer.decode(input_ids)

输出如下所示:

'text with percentage %'

% 之前有一个额外的空格。我尝试过像 clean_up_tokenization_spaces 这样的额外参数,但这是为了不同的东西。

我应该如何在解码和编码中使用什么来获得前后完全相同的文本。对于其他特殊标志也会发生这种情况。

最佳答案

如果您尝试使用 BERT 进行标记分类,以便在原始字符串中查找范围,则一种解决方法是使用 BertTokenizerFast 以及选项 return_offsets_mapping=True.

test_string = 'text with percentage%'

tokenizer = BertTokenizerFast.from_pretrained('bert-base-cased')
tokens = tokenizer(test_string, return_offsets_mapping=True)
input_ids = tokens.data["input_ids"]

span_start_index, span_stop_index = some_model(input_ids)

然后,一旦获得 token 分类结果,您就可以执行类似的操作

predicted_span = test_string[tokens.encodings[0].offsets[span_start_index][0]:tokens.encodings[0].offsets[span_stop_index][1]]

关于python - BertTokenizer - 当编码和解码序列时出现额外的空格,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58979779/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com