python - 如何从 huggingface transformer text tokenizator 中提取位置输入输出索引？

Question

我想用预训练的 russian bert 解决压力预测任务。

输入数据如下所示:

граммов сверху|000100000001000

零意味着没有压力。个位代表重音位置字符。

我想把它映射为单词 -> 元音数字索引

所以会像格鲁姆姆奥夫 -> 1сверху -> 1

因此，对于每个标记，它应该是一个具有 softmax 的线性层。

我理解这部分，但是我很难处理文本预处理，因为文本分词器可以将单词拆分为子词标记。

Tokenizator 接受一个输入字符串并像这样返回标记

bert_tokenizer.encode('граммов сверху')
->
[101, 44505, 26656, 102]

那么，如何获取输入字符和单词之间的位置映射呢？

期望的输出应该像 [[0, 7], [8, 14]]

我试着阅读文档 https://huggingface.co/transformers/main_classes/tokenizer.html

并找到convert_ids_to_tokens函数它的工作方式如下

encoded = bert_tokenizer.encode('граммов сверху')
bert_tokenizer.convert_ids_to_tokens(encoded)
->
['[CLS]', 'граммов', 'сверху', '[SEP]']

但我不确定如何使用原始字符串和压力索引来计算 token 的压力位置数。

Answer 1

事实证明，tokenizer 有 return_offsets_mapping 参数，这解决了我的问题。